语言模型与架构模块二 · 扩展法则计算概念约 14 分钟
扩展法则（一）：KM 幂律
为什么「模型越大越好」不是玄学，而是可预测的曲线
学完这节你能：
- 说出扩展法则(Scaling Laws)的核心结论
- 理解 Loss 与参数量 N、数据量 D、算力 C 的幂律关系
- 会做简单的幂律定性判断
扩展法则（Scaling Laws）研究的是：模型性能随规模怎么变。KM 法则（OpenAI, Kaplan 等）给出一个惊人的结论——性能是可预测的。
—— 测试损失 随参数量 幂律下降
同理 L 对数据量 D、算力 C 也各自满足幂律。
- 把参数量 N、数据量 D、算力 C 分别放大，测试损失 L 都沿一条平滑的幂律曲线下降。
- 「幂律」意味着：在 log-log 坐标里近似一条直线，可以外推——用小模型的曲线预测大模型的表现。
- 所以做大模型不是碰运气，而是先在小规模拟合曲线、再预测大规模投入值不值。
🔑 KM 法则一句话：LLM 的损失 L 与算力 C、参数量 N、数据量 D 之间存在稳定的幂律关系，规模增大性能可预测地提升。
▪ 「幂律」到底多可预测
设 L ∝ N^(−α)，KM 给出 α_N ≈ 0.076
参数量 ×10：损失约 ×10^(−0.076) ≈ ×0.84
再 ×10：又 ×0.84…每放大一个数量级，损失按固定比例下降
→ 这就是「可预测」：用小模型拟合曲线，就能外推大模型的损失
自测最符合 KM 扩展法则核心观点的是：
// 带走一句话
扩展法则：损失 L 对参数 N、数据 D、算力 C 各自幂律下降，可用小模型外推大模型——规模是可预测的投资。
独立练习
做到这些，才算完成本节
- 替换例题中的数值，从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。