PaddlePaddle
diff --git a/‎paddle/fluid/inference/api/demo_ci/CMakeLists.txt
Copy file name to clipboard
+5Lines changed: 5 additions & 0 deletions b/‎paddle/fluid/inference/api/demo_ci/CMakeLists.txt
Copy file name to clipboard
+5Lines changed: 5 additions & 0 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/CMakeLists.txt
Copy file name to clipboard
+6Lines changed: 6 additions & 0 deletions b/‎paddle/fluid/pir/serialize_deserialize/CMakeLists.txt
Copy file name to clipboard
+6Lines changed: 6 additions & 0 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/include/interface.h
Copy file name to clipboard
+2-2Lines changed: 2 additions & 2 deletions b/‎paddle/fluid/pir/serialize_deserialize/include/interface.h
Copy file name to clipboard
+2-2Lines changed: 2 additions & 2 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/include/patch_util.h
Copy file name to clipboard
+4Lines changed: 4 additions & 0 deletions b/‎paddle/fluid/pir/serialize_deserialize/include/patch_util.h
Copy file name to clipboard
+4Lines changed: 4 additions & 0 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/include/schema.h
Copy file name to clipboard
+2Lines changed: 2 additions & 0 deletions b/‎paddle/fluid/pir/serialize_deserialize/include/schema.h
Copy file name to clipboard
+2Lines changed: 2 additions & 0 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/include/version_compat.h
Copy file name to clipboard
+5Lines changed: 5 additions & 0 deletions b/‎paddle/fluid/pir/serialize_deserialize/include/version_compat.h
Copy file name to clipboard
+5Lines changed: 5 additions & 0 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/patch/1.yaml
Copy file name to clipboard b/‎paddle/fluid/pir/serialize_deserialize/patch/1.yaml
Copy file name to clipboard
diff --git a/‎paddle/fluid/pir/serialize_deserialize/patch/Readme.md
Copy file name to clipboard
+152Lines changed: 152 additions & 0 deletions b/‎paddle/fluid/pir/serialize_deserialize/patch/Readme.md
Copy file name to clipboard
+152Lines changed: 152 additions & 0 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/src/interface.cc
Copy file name to clipboard
+12-6Lines changed: 12 additions & 6 deletions b/‎paddle/fluid/pir/serialize_deserialize/src/interface.cc
Copy file name to clipboard
+12-6Lines changed: 12 additions & 6 deletions
diff --git a/‎paddle/fluid/pir/serialize_deserialize/src/ir_deserialize.cc
Copy file name to clipboard
+9-3Lines changed: 9 additions & 3 deletions b/‎paddle/fluid/pir/serialize_deserialize/src/ir_deserialize.cc
Copy file name to clipboard
+9-3Lines changed: 9 additions & 3 deletions
@@ -54,6 +54,7 @@ link_directories("${PADDLE_LIB_THIRD_PARTY_PATH}xxhash/lib")
 link_directories("${PADDLE_LIB_THIRD_PARTY_PATH}cryptopp/lib")
 link_directories("${PADDLE_LIB_THIRD_PARTY_PATH}yaml-cpp/lib")
 link_directories("${PADDLE_LIB}/paddle/lib")
+
 if(WITH_ONNXRUNTIME)
   include_directories("${PADDLE_LIB_THIRD_PARTY_PATH}onnxruntime/include")
   include_directories("${PADDLE_LIB_THIRD_PARTY_PATH}paddle2onnx/include")
@@ -238,6 +239,10 @@ else()
            ${PADDLE_LIB_THIRD_PARTY_PATH}yaml-cpp/lib/yaml-cpp.lib)
 endif()
 
+if(NOT WIN32 AND NOT APPLE)
+  set(DEPS ${DEPS} stdc++fs)
+endif()
+
 if(WITH_GPU)
   if(NOT WIN32)
     if(USE_TENSORRT)
 
@@ -7,6 +7,12 @@ include_directories(pir_save_load PRIVATE
 
 link_directories(${PADDLE_BINARY_DIR}/third_party/install/yaml-cpp/lib/)
 target_compile_definitions(yaml INTERFACE YAML_CPP_STATIC_DEFINE)
+if(NOT WIN32 AND NOT APPLE)
+  link_libraries(stdc++fs)
+endif()
+
+add_definitions(-DPADDLE_ROOT="${PADDLE_SOURCE_DIR}")
+
 cc_library(
   pir_save_load
   SRCS ${SERIALIZE_DESERIALIZE_CPP_SOURCES}
 
@@ -40,7 +40,7 @@ namespace pir {
  */
 void IR_API WriteModule(const pir::Program& program,
                         const std::string& file_path,
-                        const uint64_t& pir_version,
+                        uint64_t pir_version,
                         bool overwrite,
                         bool readable = false,
                         bool trainable = true);
@@ -63,7 +63,7 @@ void IR_API WriteModule(const pir::Program& program,
  */
 bool IR_API ReadModule(const std::string& file_path,
                        pir::Program* program,
-                       const uint64_t& pir_version);
+                       uint64_t pir_version);
 
 /**
  * @brief Save the given tensor into a single file at the specified file path
 
@@ -21,6 +21,10 @@ Json GetAttrJson(const YAML::Node &action);
 
 Json GetTypeJson(const YAML::Node &action);
 
+std::string GetTypeName(const YAML::Node &action);
+
+std::string GetAttrName(const YAML::Node &action);
+
 Json BuildAttrJsonPatch(const YAML::Node &action);
 
 Json BuildTypeJsonPatch(const YAML::Node &action);
 
@@ -105,4 +105,6 @@ class DialectIdMap {
   std::unordered_map<std::string, std::string> DecompressDialect;
 };
 
+uint64_t GetPirVersion();
+uint64_t GetMaxReleasePirVersion();
 }  // namespace pir
@@ -21,6 +21,7 @@
 #include "paddle/pir/include/core/dll_decl.h"
 
 namespace pir {
+/* PatchBuilder is used to build patch for IR. */
 class PatchBuilder {
  public:
   PatchBuilder() {}
@@ -33,10 +34,14 @@ class PatchBuilder {
   PatchBuilder& operator=(PatchBuilder&&);
 
   void IR_API BuildPatch(const std::string& path);
+  /* If file_version != pir_vefrsion, set file_version for finding patch yamls.
+   */
+  void SetFileVersion(const uint64_t version) { file_version_ = version; }
   bool HasOpPatch(const std::string& name) const {
     return op_patches_.count(name) != 0;
   }
   bool HasTypePatch(const std::string& name) const {
+    VLOG(8) << "Type patches: " << type_patches_;
     return type_patches_.count(name) != 0;
   }
   bool HasAttrPatch(const std::string& name) const {
 
@@ -0,0 +1,152 @@
+# PIR下Save/load 版本兼容说明
+## 一、yaml 配置说明
+### op_patches：
+对于op的补丁全部放在op_patches列表中，以op_name为标识，actions为具体操作列表，action为具体操作名称，object为具体操作对象。
+```yaml
+op_patches:
+  - op_name : pd_op.xxx # op_name为标识
+    actions:             # 补丁操作列表
+      - action : xxxx # 具体操作名称
+        object : xxxx  # 具体操作对象
+
+      - action : xxxx  # 可能会对一个op进行多次操作
+        object : xxxx
+        type : xxxx
+        default : xxx
+
+  - op_name : builtin.xxx # 对另一个op进行操作
+    actions :
+      - action : xxxx
+
+  - op_name : pd_op.xxx
+    actions :
+      - action : xxxx
+        object : xxx
+```
+#### Attribute / OpresultAttribute 增删改：
+- 增/改：
+  Attribute与OpresultAttribute的新增和修改格式类似，需要指定object，type，default
+
+```yaml
+op_patches:
+  - op_name : pd_op.data
+    actions:
+      - action : modify_output_attr # 修改OpresultAttribute
+        object : stop_gradient      # 修改的具体属性名为stop_gradient
+        type : pir::ArrayAttribute  # 修改属性类型为ArrayAttribute
+        default :                   # 修改属性为具体值
+          - type: pir::BoolAttribute  # ArrayAttribute类型需要对每一个字元素标识类型和值
+            default: "false"
+      - action : modify_attr        # 修改Attribute，与修改OpresultAttribute类似
+        object : name
+        type : pir::StrAttribute
+        default : "B"
+  - op_name : builtin.parameter
+    actions :
+      - action : add_attr           # 新增Attribute
+        object : new_attribute      # 新增属性名为new_attribute
+        type : pir::StrAttribute    # 新增属性类型为StrAttribute
+        default : "new.attribute"   # 新增属性值为"new.attribute"
+      - action : add_output_attr    # 新增OpresultAttribute
+        object : new_Attribute      # 新增属性名为new_output
+        type : pir::Int64Attribute  # 新增属性类型为ArrayAttribute
+        default : 1                 # 新增属性为具体值
+```
+
+- 删：Attribute与OpresultAttribute的删除格式类似，只需要指定需要删除的具体对象object即可
+
+```yaml
+  - op_name : pd_op.fetch
+    actions :
+      - action : delete_attr  # 删除Attribute
+        object : col          # 删除属性名为col
+```
+
+#### OpOperand / OpResult 增删改：
+- OpOperand 不需要修改
+- OpResult Type 修改：
+  OpResult Type的修改改与Attribute类似，需要指定object，type，default。
+
+  对于 Opresult Type，由于每个输出有且仅有一个Type，因此不存在增删的情况。
+
+  ```yaml
+  op_patches:
+  - op_name : pd_op.data
+    actions:
+      - action : modify_output_type # 修改Opresult Type
+        object : 0                  # 修改第几个输出的Type
+        type : pir::DenseTensorType  # 修改属性类型为DenseTensorType
+        default : [pir::Float32Type,[-1,30],"NCHW",[],0]   # 修改属性为具体值
+
+  ```
+- OpOperand / OpResult 增删改：需要提到block层进行处理。
+
+  - op输入的删和op输出的增对于program结构不产生影响。删除输入直接修改输入列表即可；增加输出获取当前block中的op id的最大值，在上面进行新增即可。
+  - 单独op输入的增和单独op输出的删会造成网络结构错误，因此报错。
+  - op作为组合出现时，可以在内部进行输出的删和输入的增，不影响外部结构。
+
+  ```yaml
+  op_patches:
+    - op_name : pd_op.data
+      actions :
+        - action : add_output      # 增加输出
+          object : 1               # 增加为第几个输出
+          type : pir::DenseTensorType  # 修改属性类型为DenseTensorType
+          default : [pir::Float32Type,[-1,30],"NCHW",[],0]   # 修改属性为具体值
+    - op_name : pd_op.add
+      actions :
+        - action : delete_input      # 删除输入
+          object : 0                 # 删除第几个输入
+
+  op_pair_patches:                   # 输入输出作为组合进行修改
+    - op_pair : [pd_op.full, pd_op.full_like]
+      actions:
+        - action : add_value         # 增加输入和输出
+          object : [1,2]             # 增加为第1个op的第几个输入，第2个op的第几个输出
+          type : pir::DenseTensorType
+          default : [pir::Float32Type,[1],"NCHW",[],0]
+        - action : delete_value      # 删除输入和输出
+          object : [1, 2]            # 删除第1个op的第几个输入，第2个op的第几个输出
+  ```
+
+#### 修改Attribute：
+- Attribute值的修改都是随着op进行的，此处不需要修改。
+- 对于Attribute本身，可能会修改的是其名称。但由于存储使用其缩写name，因此只要缩写不变，名称的修改不会影响兼容性，只需要在反序列化阶段对应修改为修改后的名称即可。
+- 还可能存在修改Attribute的类型。比如废弃掉Int32Attribute，全部改为Int64Attribute。
+```yaml
+attr_patches:
+  - attr_name : Int32Attribute   # 修改的attribute名称
+    actions:
+      - action : modify_name       # 修改Attribute名称
+        type : Int64Attribute    # 修改为Int64Attribute
+```
+#### 修改Type：
+- Type的修改与Attribute类似，值的修改都是随着OpResult进行的，此处不需要修改。
+- Type修改名称也与上述情况类似。
+- 存在废弃某一Type类型，使其更改为其他类型的情况。
+- 对于某些type类型，其内部可能存在多个属性，因此需要指定修改的属性名称。
+```yaml
+type_patches:
+  - type_name : Int32Type         # 修改的Type名称
+    actions:
+      - action : modify_name          # 修改Type名称
+        type : Int64Type           # 修改为Int64Type
+  - type_name : DenseTensorType    # 修改的Type名称
+    actions:
+      - action : add_type_attr           # 新增Type属性
+      - object : 5                       # 新增属性为第几个属性
+      - type : pir::Int64Attribute       # 新增属性类型为Int64Attribute
+      - default : 0                      # 新增属性默认值
+```
+
+## pir_version 配置说明
+### C++端版本号管理
+- 版本号管理在C++端，通过宏PIR_VERSION进行管理。
+- pir_version 定义PIR的版本迭代，每次PIR进行更新并新增patch文件后，版本号会顺序递增。与Paddle的主版本号解耦，可以独立迭代。
+- 定义GetPirVersion函数获取当前的版本号：在"paddle/fluid/pir/serialize_deserialize/patch"路径下进行yaml文件查询，如果存在"0.yaml"则为develop版本，pir_verison为0；否则查找到的yaml文件名最大值即为当前的pir_version。
+- ReadModule和WriteModule参数中的pir_version设为默认值，可以不用传递。pir_version 函数默认值为0，为develop版本下的值，进入函数后会获取当前的版本号。
+
+### Python端
+- Paddle的主版本号定义在Python端，与PIR version不产生关联。Python端不再需要获取和传入pir_version，直接使用默认值即可。
+### Paddle发版要求
+- 需要确认Paddle发版时develop版本被修改为正式版本，即若Python端的版本号不为0.0.0，则pir_version不能为0。
@@ -14,6 +14,7 @@
 
 #include "paddle/fluid/pir/serialize_deserialize/include/interface.h"
 #include <stdio.h>
+#include <filesystem>
 #include "paddle/common/enforce.h"
 #include "paddle/fluid/pir/serialize_deserialize/include/ir_deserialize.h"
 #include "paddle/fluid/pir/serialize_deserialize/include/ir_serialize.h"
@@ -28,7 +29,7 @@ namespace pir {
 #define PIR "pir"
 void WriteModule(const pir::Program& program,
                  const std::string& file_path,
-                 const uint64_t& pir_version,
+                 uint64_t pir_version,
                  bool overwrite,
                  bool readable,
                  bool trainable) {
@@ -68,20 +69,25 @@ void WriteModule(const pir::Program& program,
 
 bool ReadModule(const std::string& file_path,
                 pir::Program* program,
-                const uint64_t& pir_version) {
+                uint64_t pir_version) {
   std::ifstream f(file_path);
   Json data = Json::parse(f);
+  pir_version = GetPirVersion();
   PatchBuilder builder(pir_version);
 
   if (data.contains(BASE_CODE) && data[BASE_CODE].contains(MAGIC) &&
       data[BASE_CODE][MAGIC] == PIR) {
     uint64_t file_version =
         data.at(BASE_CODE).at(PIRVERSION).template get<uint64_t>();
     if (file_version != pir_version) {
-      std::string cur_file = std::string(__FILE__);
-      std::string yaml_file =
-          cur_file.substr(0, cur_file.rfind('/')) + "../patch/patch.yaml";
-      builder.BuildPatch(yaml_file);  // TODO(czy) : find file patch
+      builder.SetFileVersion(file_version);
+      const char* paddle_root = PADDLE_ROOT;
+      VLOG(8) << "Paddle path: " << paddle_root;
+      std::filesystem::path patch_path = std::filesystem::path(paddle_root) /
+                                         "paddle" / "fluid" / "pir" /
+                                         "serialize_deserialize" / "patch";
+      VLOG(8) << "Patch path: " << patch_path;
+      builder.BuildPatch(patch_path.string());
     }
   } else {
     PADDLE_THROW(common::errors::InvalidArgument("Invalid model file."));
 
@@ -218,8 +218,11 @@ pir::Operation* ProgramReader::ReadOp(Json* op_json) {
   Json& opresults_json = op_json->at(OPRESULTS);
   std::vector<pir::Type> output_types;
   std::vector<int64_t> output_ids;
+  int64_t value_id_ = -1;
   for (auto& opresult_json : opresults_json) {
-    int64_t value_id_ = opresult_json.at(VALUE_ID).template get<int64_t>();
+    if (opresult_json.contains(VALUE_ID)) {
+      value_id_ = opresult_json.at(VALUE_ID).template get<int64_t>();
+    }
     output_ids.push_back(value_id_);
     output_types.push_back(ReadType(&(opresult_json.at(TYPE_TYPE))));
     VLOG(6) << "Finish Read value " << value_id_ << ".";
@@ -271,7 +274,9 @@ pir::Operation* ProgramReader::ReadOp(Json* op_json) {
           output_ids.size()));
 
   for (uint32_t i = 0; i < op->num_results(); i++) {
-    id_value_map[output_ids[i]] = op->result(i);
+    if (output_ids[i] != -1) {
+      id_value_map[output_ids[i]] = op->result(i);
+    }
   }
 
   VLOG(4) << "Finish Read Operation " << op->name() << ".";
@@ -333,7 +338,8 @@ pir::Attribute ProgramReader::ReadAttribute(Json* attr_json) {
 pir::Type ProgramReader::ReadType(Json* type_json) {
   VLOG(6) << "Begin Read Type. ";
   auto type_name = type_json->at(ID).template get<std::string>();
-  if (patch_builder && patch_builder->HasOpPatch(type_name)) {
+  VLOG(8) << "Check patches for: " << type_name;
+  if (patch_builder && patch_builder->HasTypePatch(type_name)) {
     VLOG(8) << type_name << " brefore: " << *type_json;
     Json type_patch = patch_builder->GetJsonTypePatch(type_name);
     patch_builder->ApplyTypePatches(type_name, type_json, type_patch);