解码 · 部署 · 应用模块七 · 模型压缩方法概念约 12 分钟
模型压缩：蒸馏、剪枝、量化
三条把模型变小的路
学完这节你能：
- 区分蒸馏/剪枝/量化
- 理解各自压的是什么
- 知道可以组合使用
| 方法 | 做法 | 压的是 |
|---|---|---|
| 知识蒸馏 | 让小模型(学生)学大模型(老师)的输出/分布 | 换一个更小的模型 |
| 剪枝 | 删掉不重要的权重/神经元/注意力头 | 去掉冗余结构 |
| 量化 | 降低数值比特(FP16→INT4) | 每个参数的存储位数 |
🔑 三者正交、可叠加：常见流程是「蒸馏出小模型 → 剪枝去冗余 → 量化到低比特」，层层压缩以适配端侧/低资源部署。
自测知识蒸馏(distillation)的核心是：
// 带走一句话
压缩三路：蒸馏(小模型学大模型)、剪枝(删冗余结构)、量化(降比特)，正交可叠加。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。