适配与对齐模块六 · 奖励模型训练公式约 12 分钟
奖励模型训练：打分/对比/排序损失
让模型学会「哪个回答更好」
学完这节你能：
- 写出成对偏好的奖励模型损失
- 理解奖励是相对的
- 了解奖励模型的泛化难点
奖励模型(RM)通常在底座上加一个输出标量的头。用成对偏好数据训练：让「更好回答」的分高于「更差回答」。
=sigmoid，=chosen(更优)，=rejected(更差)
只约束「相对大小」，绝对分值本身不重要——奖励是相对的。
▪ 奖励损失手算
设 r(y_w)=2.0, r(y_l)=0.5，分差 = 1.5
σ(1.5) = 1/(1+e^−1.5) ≈ 0.82，损失 = −log 0.82 ≈ 0.20
若分差拉大到 3.0：σ(3) ≈ 0.95，损失 ≈ 0.05（更小）
→ 好坏回答的分差越大，损失越小
- 打分式/对比式/排序式损失，本质都在拉开 chosen 与 rejected 的分差。
- 奖励是相对的：同一回答的绝对分没意义，重要的是排序关系。
- 泛化难点：RM 容易被没见过的分布骗到、被钻空子，是 RLHF 的常见瓶颈。
自测奖励模型的成对损失 −log σ(r(y_w)−r(y_l)) 的目标是：
// 带走一句话
奖励模型用成对损失 −log σ(r(y_w)−r(y_l)) 拉开好坏回答分差；奖励是相对的，泛化易被钻空子。
独立练习
做到这些，才算完成本节
- 不看正文重写公式，并逐项说明符号、形状和单位。
- 改变一个条件，判断公式结果应增大、减小还是不变。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。