语言模型与架构模块二 · 扩展法则 / 大模型代表能力计算概念约 14 分钟
扩展法则（二）：Chinchilla 计算最优与涌现能力
同样的算力，钱该花在「更大」还是「更多数据」
学完这节你能：
- 说清 Chinchilla 的「计算最优」结论
- 理解为什么很多早期大模型「训练不足」
- 掌握上下文学习与涌现能力的定义
KM 告诉你「越大越好」，但算力有预算。DeepMind 的 Chinchilla 进一步问：给定算力，参数量和数据量该怎么配比，才能损失最低？
🔑 Chinchilla 结论：当算力预算增加时，应「同比例」地增大参数量 N 与训练数据量 D。很多早期模型（如 GPT-3）参数过大而数据不足，属于「训练不足（under-trained）」，没花在刀刃上。
▪ 计算最优的直觉
算力 C ≈ 6 · N · D（训练一遍的粗略估计）
预算 C 固定 → N 和 D 是一对权衡
Chinchilla：最优解是 N 和 D 大致按同比例一起涨，而不是把钱全砸在参数上。
涌现能力与上下文学习
- 上下文学习(In-context Learning)：不更新任何权重，只在提示词里给几个示例，模型就能学会做新任务。
- 涌现能力(Emergent Abilities)：某些复杂能力在小模型上几乎为零，参数量越过某个阈值后突然从「随机」跃升到「远超随机」——是非线性跃迁。
- 指令遵循、逐步推理(CoT)也是代表性涌现能力。
自测Chinchilla 扩展法则的核心启示是：
// 带走一句话
Chinchilla：算力增加时参数与数据应同比例增长（计算最优）；不改权重靠示例学习=上下文学习，跨阈值突现=涌现能力。
独立练习
做到这些，才算完成本节
- 替换例题中的数值，从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。