适配与对齐模块六 · 人类偏好与反馈数据收集概念约 11 分钟
偏好数据收集：评分式与排序式
怎么把「人更喜欢哪个回答」变成数据
学完这节你能：
- 区分评分式与排序式反馈
- 理解偏好对(chosen/rejected)
- 了解反馈偏差与修正
- 评分式：让人给单个回答打分（如 1~7 分）。简单但标准难统一、主观。
- 排序式：让人比较多个回答、排序或选出更好的一个。相对判断更一致，最常用。
- 偏好对：从排序里抽出「更好的(chosen)」与「更差的(rejected)」组成 (x, y_w, y_l)，供 RLHF/DPO 训练。
- 偏差修正：标注者有主观偏好、位置偏好等偏差，需多人标注、去偏、校准。
🔑 为什么偏爱排序：人类「比较两个哪个好」比「打绝对分」更稳定一致。现代对齐(RLHF/DPO)几乎都建立在成对偏好数据上。
自测现代对齐最常用的人类反馈形式是：
// 带走一句话
偏好数据两式：评分(打绝对分,主观)与排序(比较,更一致,主流)；从排序得 chosen/rejected 偏好对，需去偏。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。