语言模型与架构模块二 · 发展历程与现状概念约 12 分钟
四代语言模型：从 N-gram 到大模型
一条按时间排好的发展主线，考试常考顺序
学完这节你能：
- 按时间顺序说出四代语言模型
- 各代的代表方法与核心突破
- 避开「顺序题」的常见坑
语言模型的目标一直没变：给定前文，预测下一个词的概率分布。变的是「怎么建模这个概率」。历史上分四代。
| 代 | 名称 | 代表 | 核心 |
|---|---|---|---|
| 1 | 统计语言模型 | N-gram | 用前 N-1 个词的频率统计估计下一个词 |
| 2 | 神经网络语言模型 | RNN / LSTM | 用神经网络学词的分布式表示与序列依赖 |
| 3 | 预训练语言模型 | BERT / GPT-1 | 先大规模自监督预训练，再微调到下游任务 |
| 4 | 大语言模型 | GPT-3 及以后 | 参数与数据规模巨大，涌现出通用能力 |
⚠️ 顺序题必背：N-gram → RNN/LSTM → 预训练(BERT/GPT-1) → 大模型(GPT-3+)。常见错误选项会把 Transformer 或大模型提前，或把 RNN 放到 N-gram 之前。
自测按时间先后排列正确的是：
// 带走一句话
四代顺序：统计 N-gram → 神经网络 RNN/LSTM → 预训练 BERT/GPT-1 → 大模型 GPT-3+。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。