适配与对齐模块五 · 参数高效微调方法概念约 11 分钟
Adapter、前缀微调、提示微调
LoRA 之外的 PEFT 家族
学完这节你能：
- 区分 Adapter/Prefix/Prompt Tuning
- 理解各自「插」在哪里
- 了解它们的共性
| 方法 | 做法 | 训练的参数 |
|---|---|---|
| Adapter | 在每层里插入小瓶颈网络 | 小瓶颈层 |
| 前缀微调 Prefix | 给每层注意力前面接一段可学的「前缀」向量 | 前缀向量 |
| 提示微调 Prompt | 在输入前拼一段可学的「软提示」向量 | 软提示 embedding |
| LoRA | 给权重加低秩旁路 BA | A、B 小矩阵 |
🔑 共性：冻结原模型主体，只训练少量新增参数。区别只是「新参数插在哪」——层内瓶颈(Adapter)、注意力前缀(Prefix)、输入软提示(Prompt)、权重旁路(LoRA)。LoRA 因「零推理延迟」最流行。
自测提示微调(Prompt Tuning)训练的是：
// 带走一句话
PEFT 家族=冻结主体只训新增参数，区别在插入位置：Adapter(层内)、Prefix(注意力前缀)、Prompt(输入软提示)、LoRA(权重旁路)。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。