推理 · 评测 · 冲刺模块十一 · 评测流程与范式概念约 11 分钟
评测流程与范式
怎么公平地说「这个模型更好」
学完这节你能：
- 理解评测的数据划分与泛化
- 区分三种评测范式
- 认识评测的公平性问题
- 数据划分：训练/验证/测试严格分开，评测泛化能力必须在未见数据上。
- 基于基准(benchmark)：用标准数据集和指标自动打分，可复现、可比较。
- 基于人类评估：人来判优劣，贴近真实体验但慢、贵、主观。
- 基于模型评估(LLM-as-a-judge)：用强模型当裁判打分，快而便宜，但有偏差需校准。
⚠️ 公平性陷阱：测试集若被训练数据污染，分数会虚高(见下一节数据污染)。评测要防泄露、控变量、多范式交叉验证。
自测「基于模型评估(LLM-as-a-judge)」的特点是：
// 带走一句话
评测在未见数据上比泛化；三范式：基准(自动可复现)、人类(贴近体验)、模型裁判(快但有偏)；警惕数据污染。
独立练习
做到这些，才算完成本节
- 为一个生成任务同时设计准确性、鲁棒性、效率与公平性指标，说明冲突关系。
- 把同一模型在两个不同数据切分上评测，检查污染或分布偏移是否改变结论。
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。