预训练工程模块四 · 预训练任务概念约 12 分钟
预训练任务：下一词预测 vs 去噪自编码
GPT 和 BERT 的目标函数差在哪
学完这节你能：
- 区分因果语言建模与掩码语言建模
- 理解为什么架构不同目标就不同
- 了解各自擅长的任务
| 下一个词预测（CLM） | 去噪自编码（MLM） | |
|---|---|---|
| 做法 | 从左到右预测下一个词 | 随机 mask 部分词，还原它们 |
| 注意力 | 因果（只看左边） | 双向（看全句） |
| 代表 | GPT / Llama | BERT |
| 天生擅长 | 生成 | 理解 |
因果语言建模（Causal LM）适合生成：一次预测一个词、可无限续写。掩码语言建模（MLM）适合理解：能利用双向上下文，但不能直接生成。现代主流大模型走 CLM 路线。
自测BERT 的预训练任务本质是：
// 带走一句话
CLM(下一词预测·因果·GPT·擅生成) vs MLM(掩码还原·双向·BERT·擅理解)；主流大模型走 CLM。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。