预训练工程模块四 · 参数量计算计算约 15 分钟
参数量计算：Transformer 参数量公式
给定 hidden 和层数，估出有多少参数
学完这节你能：
- 记住每层参数量的估算
- 会用 12·L·d² 估总参数
- 知道 embedding 参数怎么算
参数量是必考计算。对一个隐藏维度 d、层数 L 的 Transformer，主体参数集中在每层的注意力投影和 FFN。
每层 注意力 (Q,K,V,O) FFN ()
主体总参数
再加词嵌入 （=词表大小）
主体总参数
再加词嵌入 （=词表大小）
▪ 手算
d = 1024，L = 24，V = 50000
主体 ≈ 12 × 24 × 1024² ≈ 12 × 24 × 1.05e6 ≈ 3.02×10⁸ ≈ 0.30B
词嵌入 ≈ 50000 × 1024 ≈ 5.1×10⁷ ≈ 0.05B
合计 ≈ 0.35B 参数
🔑 记这条骨架：N ≈ 12·L·d²。它解释了为什么加宽(d)比加深(L)更快涨参数（d 是平方项）。
自测用 N≈12·L·d² 估算，d=2048、L=32 的模型主体参数约为：
自测变式（换数字再算）：用 N≈12·L·d² 估算，d=1536、L=28 的模型主体参数约为：
// 带走一句话
Transformer 主体参数 N≈12·L·d²（注意力 4d²+FFN 8d²），再加词嵌入 V·d；d 是平方项。
独立练习
做到这些，才算完成本节
- 按 embedding、attention、FFN、norm 四部分估算一个给定配置的参数量。
- 用一个小型 PyTorch 模型的实际参数统计核对公式，并解释偏差来源。
- 替换例题中的数值，从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。