预训练工程模块四 · 回归分析公式约 13 分钟
极大似然与语言建模：MLE 与交叉熵
「预测下一个词」为什么就是极大似然
学完这节你能：
- 理解极大似然估计(MLE)
- 把语言建模写成最大化数据概率
- 看清 MLE 与交叉熵损失是一回事
预训练的目标函数看起来很唬人，其实就是一句话：让模型认为「真实出现的这段文本」的概率尽量大。这就是极大似然。
语言建模：
最大化对数似然
取负、求平均 交叉熵损失（最小化）
最大化对数似然
取负、求平均 交叉熵损失（最小化）
最大化似然 ⇔ 最小化交叉熵，符号相反而已。
- 把一句话的概率拆成「每个词在前文条件下」的概率连乘（自回归分解）。
- 训练就是调参数，让这个连乘（即真实文本的概率）最大。
- 连乘不好优化 → 取对数变连加 → 取负变最小化 → 就是交叉熵损失。
🔑 所以「下一个词预测」= 自回归语言建模 = 极大似然 = 最小化交叉熵。四个说法，同一件事。
自测语言模型的极大似然训练，等价于最小化：
// 带走一句话
预训练目标：最大化真实文本概率（极大似然）=最小化交叉熵；自回归把句子概率拆成逐词条件概率连乘。
独立练习
做到这些，才算完成本节
- 不看正文重写公式，并逐项说明符号、形状和单位。
- 改变一个条件，判断公式结果应增大、减小还是不变。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。