PR Category

Execute Infrastructure

PR Types

Performance

Description

通过火焰图发现，PIR执行器每个Instruction都调用SetDeviceID影响调度性能尝试优化。且发现：Program InterpretorCore、动态图、老动态图均如此处理。

#69669 尝试通过ID值再本地保存一份做剪枝，且将所有cudaSetDevice全部替换为剪枝函数，虽然性能优化效果好，但大量单测崩溃。放弃。

本PR通过先cudaGetDevice的方式剪枝。局部性能可以提升60%以上。

Pcard-67164

业界也有相关的一些讨论：
pytorch/pytorch#18048
pytorch/pytorch#13974
pytorch/pytorch#13269
pytorch/pytorch#28639

OpenNMT/CTranslate2#1127
cupy/cupy#2608

https://github.com/pytorch/pytorch/pull/13741/files
https://forums.developer.nvidia.com/t/cudasetdevice-time-so-weird-cudasetdevice-take-a-long-time/18026

结论是：大家都发现cudaSetDevice、cudaGetDevice调用频率高，且浪费了调度性能。但是浪费的不够多，优化又没有好的办法，需要改动的实在太多，挑战框架设计。因此都没有实际认真优化。Torch当前的实现基本都是对cudaSetDevice做剪枝：

cudaError_t SetDevice(DeviceIndex device) {
  TORCH_CHECK(device >= 0, "device id must be positive!", device);
  int cur_device = -1;
  C10_CUDA_CHECK(cudaGetDevice(&cur_device));
  if (device == cur_device) {
    return cudaSuccess;
  }
  return cudaSetDevice(device);
}