推理 · 评测 · 冲刺模块十一 · 公开综合评测集概念约 11 分钟
公开评测集与数据污染
MMLU、C-Eval，以及「刷榜」的陷阱
学完这节你能：
- 认识主流评测集
- 理解数据污染现象
- 知道能力评测的分类
| 评测集 | 考什么 |
|---|---|
| MMLU | 57 学科多选，综合知识 |
| C-Eval | 中文多学科综合评测 |
| BIG-Bench / HELM | 大规模多任务 / 全面多维评测 |
⚠️ 数据污染(data contamination)：测试题如果混进了训练数据，模型就是「见过答案」，分数虚高、不反映真实能力。这是评测最大的陷阱，也是看榜单要警惕的。
能力评测常分维度看：语言能力、知识利用(闭卷/开卷问答、知识更新时效)、复杂推理、以及对齐/工具使用/鲁棒性(对抗样本)等高级评测。
自测「数据污染(data contamination)」指的是：
// 带走一句话
主流评测集：MMLU/C-Eval/HELM 等；最大陷阱是数据污染(测试题泄漏进训练)导致刷榜虚高。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。