推理 · 评测 · 冲刺冲刺 · 计算题(模块二·四·七·十一)计算约 16 分钟
第一轮冲刺:计算题专项
把所有必考公式集中攻一遍
学完这节你能:
- 汇总并熟练全部计算公式
- 在限时下快速套用
- 避开单位/字节坑
成人组计算题就集中在几条公式。这节把它们排成一张「速查表」,配一道综合题练手。
| 主题 | 公式 |
|---|---|
| 精确率/召回率 | P=TP/(TP+FP),R=TP/(TP+FN),F1=2PR/(P+R) |
| 困惑度 | PPL=exp(交叉熵) |
| 更新步数 | (样本/全局批)×epoch;全局批=单卡批×累积×卡数 |
| 参数量 | N≈12·L·d² (+词嵌入 V·d) |
| 训练算力 | FLOPs≈6ND |
| 训练显存 | 混合精度+Adam≈16 字节/参数(+激活) |
| 量化显存 | FP16=2B, INT8=1B, INT4=0.5B /参数 |
| 吞吐量 | batch×生成token/总耗时 |
| NDCG | DCG@k=Σ relᵢ/log₂(i+1),NDCG=DCG/IDCG |
▪ 综合练手
一个 d=2048、L=24 的模型,用 INT4 部署,权重显存≈?
参数 N≈12×24×2048²≈1.21×10⁹≈1.2B
INT4:1.2e9×0.5B≈0.6 GB
⚠️ 两个常见坑:① 字节 vs 比特(量化说的是字节/参数);② 全局批别忘乘「梯度累积×卡数」。限时练时先写公式再代数,别心算。
自测d=1024、L=12 的模型,用 FP16 部署,权重显存约为:
// 带走一句话
计算题速查:P/R/F1、PPL=exp(loss)、步数、N≈12Ld²、6ND、显存 16B/参、量化 2/1/0.5B、吞吐、NDCG;先写公式防心算坑。
独立练习
做到这些,才算完成本节
- 替换例题中的数值,从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。