← 课程库
推理 · 评测 · 冲刺模块九 · 基于监督微调的推理模型训练概念12 分钟

SFT 推理训练:蒸馏出思维链

用监督方式教模型「怎么想」

学完这节你能:
  • 了解长思维链数据怎么来
  • 理解思维链蒸馏
  • 知道 SFT 路线的优缺点

  • 数据搜集与构建:收集/生成带完整推理过程的高质量长思维链样本(问题→推理→答案)。
  • 思维链蒸馏:用强推理模型生成推理轨迹,筛出「答案正确」的,作为 SFT 数据教学生模型。
  • SFT 训练:让模型模仿这些推理轨迹,学会「把思考写出来」。

🔑 SFT 路线优点:稳定、可控、见效快。缺点:模型只是「模仿」示范轨迹,探索性和上限受数据限制——所以常再叠加下一节的 RL。

自测「思维链蒸馏」训练推理模型的做法是:
// 带走一句话

SFT 推理训练=收集/蒸馏正确的长思维链轨迹做监督微调,稳定见效但受示范数据限制,常再叠 RL。

独立练习

做到这些,才算完成本节

  1. 合上正文,用自己的话解释核心概念。
  2. 写出一个相似概念,并说明两者最关键的区别。
学习记录

记录本节阅读进度

建议先独立回答自测。读完记录不等于已经掌握。

继续下一课
← 上一课
长思维链模型:会「想很久」的模型
下一课 →
RL 推理训练:结果奖励 vs 过程奖励

学完不要急着赶进度:去练习自测,或完成对应的阶段实验