适配与对齐模块五 · 指令微调概念约 12 分钟
指令微调总览:从「会接话」到「听指令」
SFT 是把底座变成助手的第一步
学完这节你能:
- 理解预训练底座与指令模型的差别
- 说清指令数据的三件套结构
- 掌握 SFT 的目标
预训练好的底座只会「续写」——你说上半句它接下半句,但不会「听话办事」。指令微调(SFT, Supervised Fine-Tuning)用大量「指令→回答」示例,教它遵循指令。
▪ 指令数据三件套
instruction(指令):把下面这段翻译成英文
input(输入,可选):今天天气很好
output(期望回答):The weather is nice today
🔑 SFT 本质仍是「下一个词预测」的监督学习,只不过训练数据变成了「指令+高质量回答」,且损失通常只在回答部分计算。它教的是「遵循指令的行为」,不是新知识。
自测指令微调(SFT)相比预训练,主要变化是:
// 带走一句话
SFT=用「指令→回答」监督数据把续写底座变成听指令的助手;仍是下一词预测,教的是行为不是知识。
独立练习
做到这些,才算完成本节
- 合上正文,用自己的话解释核心概念。
- 写出一个相似概念,并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。