PR types

New features

PR changes

Others

Description

Pcard-73145

本PR支持elementwise大类操作里，binary操作的反向inferspmd推导规则。

在非切分视角下，binary类操作里input_grad等于out_grad。如果在前向计算时存在广播情况，比如[4, 5] + [4, 4, 5]，得到的output和out_grad的大小都是[4, 4, 5]，被广播的input0需要基于0维做规约，得到最终正确的input_grad。

切分视角下，分为以下两种情况：

• input里存在切分维度。
  • 比如两个形状完全相同为[4, 5]的DistTensor相加，且input0在0维上是shard状态，最终input_grad的形状和dist_attr应与out_grad一致；
  • 举例，如果前向inferspmd推出output是形状为[2, 5]的切分状态，代表实际每个rank进行的是[2, 5] + [2, 5]的物理计算。反向inferspmd推导出的input和input_grad应该是和output一致的形状为[2, 5]的切分状态，若返回的dist_attr和input本身不匹配，基础执行逻辑会对它进行reshard。
• input里不存在切分维度。
  • 比如形状为[4, 5]和形状为[4, 4, 5]的DistTensor相加，且input1在0维上是shard状态，实际上做的是[4, 5] + [2, 4, 5]，最终input0_grad应该设置成partial状态，弥补只进行了部分reduce。