语言模型与架构模块三 · 主流架构概念约 12 分钟
三大主流架构：编码器-解码器 / 因果 / 前缀解码器
架构选择跟着任务走
学完这节你能：
- 区分三种架构的注意力方式
- 把架构和任务类型对上号
| 架构 | 注意力 | 代表 | 擅长 |
|---|---|---|---|
| 编码器-解码器 | 编码器双向 + 解码器因果 + 交叉注意力 | T5 / 原始 Transformer | 翻译、摘要等序列到序列 |
| 因果解码器 | 全程因果（只看左边） | GPT / Llama | 文本生成（也能靠提示做理解） |
| 前缀解码器 | 前缀部分双向 + 生成部分因果 | GLM 等 | 兼顾理解与生成 |
🔑 对应关系：编码器(BERT)双向→理解任务；因果解码器(GPT)自回归→生成任务。前缀解码器与纯因果解码器的区别就在于「前缀是否双向」。
自测关于三种架构，正确的是：
// 带走一句话
编码器-解码器(seq2seq)、因果解码器(GPT·生成)、前缀解码器(前缀双向)；架构跟着任务选。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。