PR Category

CINN

PR Types

Performance

Description

实现了一种针对grid reduce的提高SM资源利用率的block/thread分配方法

---

本来的分配方法是使用一个简单的除法，即假设当前硬件上有sm_count个SM，已经分配了sp_block个block给空间维度，则给归约维度的block数为rd_block = FloorPow2(sm_count / sp_block)。这样可以保证总的block数sp_block * rd_block不超过总的sm_count。同时，进行FloorPow2是因为担心block数不是2的幂次，导致循环不整除，从而影响性能。

原有方法有两个问题：

1. 如果sp_block数恰好卡在一个尴尬的值（例如sm_count = 80，sp_block = 64），就会导致开大一点就超过，开小一点又利用率不足。
2. FloorPow2会调低rd_block数，同样导致利用率下降；由于现在实现了不整除循环优化，循环是否整除已经不是问题。

---

因此，这个PR使用一个factor去调小rd_thread数，但增加可分配的block数上限，从而换取更大的rd_block取值空间；同时，取消FloorPow2的限制。这样，我们有更大的可能找到一个利用率更高的rd_block取值。例如：

factor	可分配block	sp_block	rd_block	总分配block	利用率
1	80	64	1	64	80%
2	160	64	2	128	80%
4	320	64	5	320	100%

可以发现，当factor取4时，可以得到100%的SM利用率

---

性能测试

V100（80 SM）

	原配置	新配置	原用时	新用时
BatchNorm NHWC [256, 56, 56, 224]	dim3(7, 8), dim3(32, 16)	dim3(7, 45), dim3(32, 8)	896+4425us	844+2767us
BatchNorm NCHW [256, 48, 112, 112]	48, 1024	dim3(48, 3), 512	895+2976us	745+2426us

Pcard-85711