推理 · 评测 · 冲刺模块九 · 基于监督微调的推理模型训练概念约 12 分钟
SFT 推理训练:蒸馏出思维链
用监督方式教模型「怎么想」
学完这节你能:
- 了解长思维链数据怎么来
- 理解思维链蒸馏
- 知道 SFT 路线的优缺点
- 数据搜集与构建:收集/生成带完整推理过程的高质量长思维链样本(问题→推理→答案)。
- 思维链蒸馏:用强推理模型生成推理轨迹,筛出「答案正确」的,作为 SFT 数据教学生模型。
- SFT 训练:让模型模仿这些推理轨迹,学会「把思考写出来」。
🔑 SFT 路线优点:稳定、可控、见效快。缺点:模型只是「模仿」示范轨迹,探索性和上限受数据限制——所以常再叠加下一节的 RL。
自测「思维链蒸馏」训练推理模型的做法是:
// 带走一句话
SFT 推理训练=收集/蒸馏正确的长思维链轨迹做监督微调,稳定见效但受示范数据限制,常再叠 RL。
独立练习
做到这些,才算完成本节
- 合上正文,用自己的话解释核心概念。
- 写出一个相似概念,并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。