PR Category

Auto Parallel

PR Types

Others

Description

• 当前的vpp编排仅仅支持模型hidden_layer层数整除vpp_degree的情况，然而在很多时候，模型hidden_layer的最后一层的计算量和计算时间往往都要大于前面的层，因此为了满足一定精度的同时拥有更快的训练速度，往往可以将hidden_layer的最后一层给去掉，不会给模型带来较大的精度影响，尤其是模型很大的时候，同时也能使训练速度有一个较高的提升，因此支持vpp去尾操作具有价值较大的现实意义。
• 这里我将展示一个在llama模型上测试的效果，此时我设定的pp_degree=4,vpp_degree=2,acc_step=4:
  当hidden_layer=8时，vpp编排的结果如下：
  
  当hidden_layer=7时，vpp编排的结果如下:
  
  因为vpp编排是根据chunk进行编排的，所以在两个参数下，编排的效果是一致的，这也证明了代码的准确性和通用性
• 同时我们观察一下训练10个step后的结果：
  当hidden_layer=8时，训练后的结果如下：
  
  当hidden_layer=8时，训练后的结果如下：
  
  可以看到，此时loss相差0.007，但是时间上相差了0.005*10=0.05s。而这仅仅是训练的step为10，并且hidden_layer较小时的结果，可以预期，当模型较大，训练步数较大时，带来的时间收益是非常显著的。