地基 · 数学与工程数学地基公式约 14 分钟
概率与信息论：交叉熵与 KL 散度
语言模型的损失函数就长这样
学完这节你能：
- 理解概率分布与期望
- 掌握交叉熵的含义（模型训练的损失）
- 知道 KL 散度衡量两个分布的差异
语言模型每一步都在输出一个「下一个词的概率分布」。怎么衡量它预测得好不好？靠交叉熵。这是后面所有训练损失的地基。
交叉熵
真实分布 为 one-hot 时：损失
真实分布 为 one-hot 时：损失
模型给正确词的概率越高，−log 越小，损失越小。
- 期望 E[X] = Σ x·p(x)：按概率加权的平均。
- 交叉熵：用模型分布 q 去「编码」真实分布 p 的平均代价；q 越接近 p，交叉熵越小。
- 训练语言模型 = 最小化交叉熵 = 让模型给「真实下一个词」的概率尽量大。
- KL 散度 KL(p‖q) = Σ p log(p/q)：两个分布的差异，≥0，相等时为 0（对齐里的 DPO 会用到）。
🔑 一句话联系：交叉熵 = 熵 + KL 散度。训练时真实分布固定，最小化交叉熵就等价于让模型分布逼近真实分布。
▪ 交叉熵手算
3 分类，真实类别是第 1 类：p=[1,0,0]
模型预测 q=[0.7, 0.2, 0.1]
Loss = −log q(正确类) = −log 0.7 ≈ 0.357
若模型更自信 q=[0.9,…]：−log 0.9 ≈ 0.105，损失更小
自测训练语言模型最小化交叉熵，本质是让模型：
// 带走一句话
语言模型损失=交叉熵 −log q(正确词)；最小化它=让正确词概率变大；KL 散度衡量两分布差异。
独立练习
做到这些，才算完成本节
- 不看正文重写公式，并逐项说明符号、形状和单位。
- 改变一个条件，判断公式结果应增大、减小还是不变。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。