适配与对齐模块六 · 人类对齐方法概念约 13 分钟
RLHF 概览：奖励模型 + PPO
用强化学习把偏好灌进模型
学完这节你能：
- 说清 RLHF 的三步流程
- 理解奖励模型的角色
- 了解 PPO 里 KL 约束的作用
RLHF(基于人类反馈的强化学习)是经典对齐路线，分三步走。
- SFT：先用指令数据得到一个初始助手模型。
- 训奖励模型(RM)：用人类偏好对训练一个「打分器」，输入回答输出一个标量分数。
- PPO 强化学习：让策略模型生成回答，用 RM 打分作奖励去优化；同时加 KL 惩罚，约束它别偏离 SFT 模型太远。
🔑 KL 约束很关键：只追高分容易「奖励作弊(reward hacking)」，生成讨好 RM 却古怪的文本。KL 惩罚把策略拴在参考模型附近，保持语言自然。
自测RLHF 中 PPO 阶段加 KL 惩罚，主要为了：
// 带走一句话
RLHF 三步：SFT→训奖励模型(偏好打分器)→PPO 用奖励优化+KL 约束防作弊。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。