PR Category

Execute Infrastructure

PR Types

Bug fixes

Description

optimizer存在如下问题：
如果用户调用了optimizer.set_state_dict()，但是没有调用optimzier.step()，此时optimizer.state_dict()返回的结果缺少set_state_dict的accumulators信息。

最早这个问题要追溯到 #20148 ，由于如果用户不调用optimzier.step()，不触发_add_accumulator，optimizer无法准确的创建self._accumulators[name][param.name]。因此，在optimizer.set_state_dict()时，将accumulators暂时存在self._accumulators_holder中，在_add_accumulator时同步到self._accumulators上。

但如果用户调用了optimizer.set_state_dict()，但是没有调用optimzier.step()，self._accumulators为空，数据仍在self._accumulators_holder上。

因此，本PR修改state_dict，如果self._accumulators为空，self._accumulators_holder有值，则将self._accumulators_holder的值给到state_dict。

Pcard-74613