推理 · 评测 · 冲刺模块十一 · 评测指标计算约 15 分钟
评测指标：F1、困惑度、BLEU、ROUGE、NDCG
不同任务用不同尺子
学完这节你能：
- 把指标和任务对上号
- 掌握 BLEU/ROUGE 的侧重
- 会算 NDCG
| 指标 | 用于 | 侧重 |
|---|---|---|
| 准确率/F1 | 分类 | 对错/精确率召回率平衡 |
| 困惑度 | 语言建模 | 越低越好(回顾 Stage 2) |
| BLEU | 机器翻译 | n-gram 精确率 + 长度惩罚 |
| ROUGE | 摘要 | n-gram 召回(覆盖多少参考) |
| NDCG | 排序/检索 | 考虑相关性与位置的排序质量 |
🔑 记侧重：BLEU 偏精确率(生成的词有多少在参考里)，ROUGE 偏召回率(参考的词被覆盖多少)。翻译看 BLEU、摘要看 ROUGE。
（IDCG=理想排序的 DCG）
位置越靠后折扣越大；NDCG∈[0,1]，1=完美排序。
▪ NDCG 手算
排序相关度 rel=[3,2,0]（k=3）
DCG = 3/log₂2 + 2/log₂3 + 0/log₂4 = 3/1 + 2/1.585 + 0 ≈ 4.26
理想排序 [3,2,0]：IDCG 相同 ≈ 4.26 → NDCG ≈ 4.26/4.26 = 1.0
若模型排成 [2,3,0]：DCG = 2/1 + 3/1.585 ≈ 3.89 → NDCG ≈ 3.89/4.26 ≈ 0.91
自测评测「排序/检索质量」且考虑相关性与位置的指标是：
// 带走一句话
指标配任务：分类 F1、语言建模困惑度、翻译 BLEU(精确率)、摘要 ROUGE(召回)、排序 NDCG(DCG/IDCG,含位置折扣)。
独立练习
做到这些，才算完成本节
- 替换例题中的数值，从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。