语言模型与架构模块二 · 发展历程与现状概念约 11 分钟
关键里程碑：Decoder-only 与 Encoder-only 之争
GPT 和 BERT 到底哪里不一样
学完这节你能：
- 区分 GPT 系（Decoder-only）与 BERT（Encoder-only）
- 说出 Transformer / GPT-3 / DeepSeek 的历史意义
2017 年 Transformer 提出，奠定了并行计算的基础。之后两条路线分叉：GPT 走「仅解码器」自回归生成，BERT 走「仅编码器」双向理解。
| GPT 系 | BERT | |
|---|---|---|
| 架构 | 仅解码器 Decoder-only | 仅编码器 Encoder-only |
| 注意力 | 因果（只看左边） | 双向（看全句） |
| 擅长 | 生成任务 | 理解任务 |
| 训练目标 | 预测下一个词 | 完形填空(掩码预测 MLM) |
🔑 记住：GPT = Generative Pre-training = 仅解码器；BERT = 仅编码器。这个对应关系是高频考点，常出「GPT-1 是第一个成功的 Encoder-only 模型」这种错误说法让你判断。
GPT-3 的意义：证明了「只要把模型参数和数据同步做大，就能获得强大的通用能力」，催生了后续大模型浪潮。DeepSeek 系列则展示了架构优化与推理成本降低方面的国产进步。
自测下列说法错误的是：
// 带走一句话
GPT=Decoder-only(因果·生成)，BERT=Encoder-only(双向·理解)；GPT-3 证明「规模出通用能力」。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。