PR Category

Auto Parallel

PR Types

Others

Description

我们需要支持：开 tensor_fusion 的情况下既可以从均匀的参数 load、也可以从非均匀的参数 load，存的时候既可以存均匀的参数，也可以存非均匀的参数

为了满足上述需求，需要把开关从 state_dict 和 set_state_dict 里面剥离出来，放在 PaddleNLP 端
paddlenlp 端新加参数，save_model_with_sharding_tensor_fusion 和 load_model_with_sharding_tensor_fusion

当使用 tensor_fusion 的时候：

1. save_model_with_sharding_tensor_fusion 为 True 表示 Save 非均衡模型，为 False 表示 Save 均衡模型
2. load_model_with_sharding_tensor_fusion 为 True 表示 Load 非均衡模型，为 False 表示 Load 均衡模型

由于转化依赖 sharding_optimize 中的内部变量信息，所以 convert 函数放在 DistModel 中作为不对用户公开的接口，一共有 4 个：

1. _convert_state_dict_with_rank_unique_name: 修改参数的名字后缀 _rankn 每张卡 slice 参数的名字不一样，这样可以保留每个参数的 metadata 信息，同时避免同名参数的通信，用于 save 非均衡参数
2. _convert_state_dict_with_origin_name：将模型参数去除 _rankn 后缀，用于 load 非均衡 参数
3. _convert_state_dict_without_tensor_fusion_param将模型参数转化为均衡模式，用于 save 均衡参数
4. _convert_state_dict_with_tensor_fusion_param将均衡的参数转化为非均衡模式，用于 load 参数

Pcard-76459