适配与对齐模块五 · 参数高效微调方法概念约 11 分钟
全参微调 vs 高效微调
为什么不是每次都要动全部参数
学完这节你能：
- 对比全参微调与 PEFT 的成本
- 理解 PEFT 的动机
- 知道 PEFT 家族有哪些
| 全参微调(Full FT) | 参数高效微调(PEFT) | |
|---|---|---|
| 更新的参数 | 全部 | 极少数新增/选中参数 |
| 显存/成本 | 高（同预训练量级） | 低（省梯度+优化器态） |
| 多任务 | 每任务存一整份模型 | 每任务只存小插件 |
| 代表 | — | LoRA、Adapter、Prefix/Prompt Tuning |
🔑 PEFT 的动机：冻结绝大部分参数、只训一小撮，能省下最吃显存的「梯度+优化器态」（回想 16 字节/参数里 12 是优化器态），让消费级显卡也能微调大模型，且每个任务只需保存几 MB 的小插件。
自测参数高效微调(PEFT)最主要省下的显存是：
// 带走一句话
PEFT=冻结大部分参数、只训少量，省下梯度+优化器态显存，一任务一小插件；全参微调成本高。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。