PaddleSlim是一个专注于深度学习模型压缩的工具库，提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略，帮助开发者快速实现模型的小型化。

• 🔥 2022.01.18: 发布YOLOv8自动化压缩示例，量化预测加速2.5倍。

• 【直播分享】2022-12-13 20:30 《自动化压缩技术详解及ViT模型实战》，微信扫码报名

  

PaddleSlim支持以下功能，也支持自定义量化、裁剪等功能。

注：

• *表示仅支持静态图，**表示仅支持动态图
• 敏感度裁剪指的是通过各个层的敏感度分析来确定各个卷积层的剪裁率，需要和其他裁剪方法配合使用。

PaddleSlim在典型视觉和自然语言处理任务上做了模型压缩，并且测试了Nvidia GPU、ARM等设备上的加速情况，这里展示部分模型的压缩效果，详细方案可以参考下面CV和NLP模型压缩方案:

表1: 部分场景模型压缩加速情况

安装发布版本：

pip install paddleslim

安装develop版本：

git clone https://github.com/PaddlePaddle/PaddleSlim.git & cd PaddleSlim
python setup.py install

• 验证安装：安装完成后您可以使用 python 或 python3 进入 python 解释器，输入import paddleslim, 没有报错则说明安装成功。
• 版本对齐：

• 模型量化技术

• 🔥 自动压缩
• 量化训练
• 离线量化
• 结构化剪枝
• 蒸馏
• NAS
• 量化分析工具

进阶教程详细介绍了每一步的流程，帮助您把相应方法迁移到您自己的模型上。

• 通道剪裁

  • 四种剪裁策略效果对比与应用方法
    • L1NormFilterPruner
    • FPGMFilterPruner
    • SlimFilterFilterPruner
    • OptSlimFilterPruner
  • 自定义剪裁策略：动态图

• 低比特量化

  • 三种量化方法介绍与应用
    • 量化训练
    • 离线量化 | 离线量化方法解析
    • embedding量化

• NAS

  • 四种NAS策略介绍和应用
    • Once-For-All
    • SANAS
    • RLNAS
    • DARTS

• 蒸馏

  • 知识蒸馏示例

• Benchmark
• 量化部署支持的预测库：
  • Paddle Inference：GPU量化部署、Intel CPU量化部署。
  • Paddle Lite：量化部署
  • ONNX

本系列教程均基于Paddle官方的模型套件中模型进行压缩，若您不是模型套件用户，更推荐使用快速教程和进阶教程。

• 检测模型压缩

  • 压缩方案

    • PPDetection-YOLOv3 压缩方案

  • 方法应用-静态图

    • 蒸馏
    • 量化训练
    • 模型结构搜索
    • 剪枝
    • 剪枝与蒸馏的结合使用
    • 卷积层敏感度分析

  • 方法应用-动态图

    • 剪枝
    • 量化训练

• 分割模型压缩

  • 压缩方案

  • 方法应用-静态图

    • 蒸馏
    • 量化训练
    • 模型结构搜索
    • 剪枝

  • 方法应用-动态图

    • 剪枝
    • 量化训练

• OCR模型压缩

  • 压缩方案

    • 3.5M模型压缩方案

  • 方法应用-静态图

    • 量化训练
    • 剪枝

  • 方法应用-动态图

    • 剪枝
    • 量化训练

• PaddleNLP-BERT
• ERNIE-ERNIE

• 动态图
• 静态图

答：这是因为量化后保存的参数是虽然是int8范围，但是类型是float。这是因为Paddle训练前向默认的Kernel不支持INT8 Kernel实现，只有Paddle Inference TensorRT的推理才支持量化推理加速。为了方便量化后验证量化精度，使用Paddle训练前向能加载此模型，默认保存的Float32类型权重，体积没有发生变换。

答: 请参考#1258

本项目的发布受Apache 2.0 license许可认证。

我们非常欢迎你可以为PaddleSlim提供代码，也十分感谢你的反馈。

• 如果你发现任何PaddleSlim存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。

• 欢迎加入PaddleSlim 微信技术交流群