推理 · 评测 · 冲刺模块九 · 基于强化学习的推理模型训练概念约 13 分钟
RL 推理训练：结果奖励 vs 过程奖励
让模型自己探索出更好的推理
学完这节你能：
- 理解用 RL 训练推理的思路
- 区分结果奖励与过程奖励
- 了解探索的作用
RL 路线不只让模型模仿，而是让它自己生成推理、按对错给奖励、强化好的推理方式。DeepSeek-R1 证明纯 RL 也能激发强推理。
| 奖励类型 | 奖励什么 | 特点 |
|---|---|---|
| 结果奖励(ORM) | 只看最终答案对不对 | 信号稀疏但客观、易获得(如数学可自动判对错) |
| 过程奖励(PRM) | 给每一步推理打分 | 信号密集、更好引导，但标注昂贵 |
🔑 探索策略是关键：模型要尝试多种推理路径，才能发现比示范更好的解法。可验证任务(数学/代码)用结果奖励就很有效——答案能自动判对错，天然适合 RL。
自测结果奖励模型(ORM)与过程奖励模型(PRM)的区别是：
// 带走一句话
RL 推理训练让模型自探索+按奖励强化：结果奖励(只看答案,稀疏客观)vs 过程奖励(逐步打分,密集贵)；探索是关键。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。