1.量化：

• 支持量化算法：SmoothQuant、Outlier Suppression+、AWQ、GPTQ
• 新增自研量化算法Piecewise Search Smooth(PSS)
• 支持NF4量化

1. 量化

• 新增QDrop, BRECQ两种量化算法
• 支持导出新量化模型格式
• 量化模型新格式与Paddle Inference TensorRT&MKLDNN打通

2. 自动化压缩

• 修复若干易用性问题
• 支持huggingface BERT模型
• 增加SKD(Self-supervised Knowledge Distillation)蒸馏策略

1.模型自动化压缩

• 发布自动化压缩工具ACT（Auto Compression Toolkit）
  • 解耦训练代码，基于推理模型和无监督数据，性能等效人工压缩
  • 支持PaddlePaddle、Pytorch、TensorFlow产出的推理模型
  • 发布图像语义分割、图像目标检测、图像分类和自然语言预训练模型的自动压缩示例
  • 发布Pytorch BERT、Pytorch YOLOv6、TensorFlow MobileNet自动化压缩示例

v2.2.2 Release Note

问题修复

1. 离线量化支持DataLoader. PR#968 @yghstill
2. 修复非结构化稀疏训练从checkpoint恢复训练的问题。PR #960 @minghaoBD
3. 为非结构化稀疏添加uniform sparsity功能，可以进一步加快推理速度，同时可能会带来比较小的精度损失（较上一版非结构化稀疏精度)。 #956 @minghaoBD
4. 修复动态图非结构化稀疏跳过参数过多的问题。#955 @minghaoBD

v2.2.0 Release Note

量化

1. 支持动态图离线量化功能

1. 剪枝

• 支持更多模型结构
  • 图像分类（PaddleClas）支持模型列表
  • 图像目标检测（PaddleDetection）支持模型列表
  • 图像语义分割（PaddleSeg）支持模型列表
• 支持自动跳过无法识别的Operator。
• 支持自动跳过网络结构中的叶子节点。
• 支持通过环境变量『OPS_UNCHANGE_SHAPE』设置剪枝更多激活类Operator。

2. 量化

• 离线量化（Post Training Quantization）
  • 新增基于直方图（hist）、平均值(avg)、量化均方误差（mse）的激活值校准方法。
  • 新增对于权重的偏差校正（bias correction）方法。
• 修复PACT量化训练若干问题。
• 优化PaddleInference TensorRT下BERT Int8推理。

3. 新增非结构化稀疏功能，在多种视觉任务上验证收益

• 支持动态图和静态图下的调用。
• 调用方式简便，仅需要插入三行代码。
• 支持按照比例/阈值稀疏化两种模式。
• 开发者可以自定义稀疏化时跳过哪些参数层。例如，默认跳过所有的归一化层参数。

4. OFA修复

• 新增搜索空间清理功能，解决模型结构中存在shortcut结构时无法搜索的问题，减少无效搜索。
• 修复不同gpu上选择的子网络config不同。
• 修复block命名中含有'conv' 'embedding' 等字符串时convert超网络出问题的bug。
• 修复paddle.multiply时，两个输入shape会存在不一致的情况。
• 修复重复多次注册hook，但是内存不释放 的问题。
• SuperOP相关修复：修复group>1时SuperConv系列计算的问题，修复对depthwise conv的判断条件，SuperBN2D新增use_global_stats接口。
• 新增skip_layers 参数支持指定层在训练过程中参数大小保持不变。
• 新增config为'channel'的子模型导出。

1. 新增支持动态图剪枝、量化
2. 新增OFA压缩策略
3. 修复若干剪枝相关问题

1. 新增PACT量化训练功能，提升PaddleSlim在图像目标检测、图像语义分割、OCR等模型上的量化训练效果。
2. 新增DML(互蒸馏功能)，提升部分模型的蒸馏效果。
3. 修复部分剪裁bug，加强对depthwise_conv2d的剪裁能力。
4. 优化剪裁和量化API的易用性和灵活性。