语言模型与架构模块三 · 注意力机制概念约 9 分钟
自注意力 vs 交叉注意力
Q、K、V 是不是来自同一句话，决定了它叫什么
学完这节你能：
- 区分自注意力与交叉注意力
- 知道它们分别用在哪
注意力的计算方式一样，区别只在于 Q、K、V 从哪来。
| 自注意力 Self-Attention | 交叉注意力 Cross-Attention | |
|---|---|---|
| Q 来源 | 本序列 | 一个序列（如解码器） |
| K、V 来源 | 同一本序列 | 另一个序列（如编码器输出） |
| 典型场景 | 句子内部词与词交互 | 翻译时目标语关注源语言 |
🔑 一句话：自注意力 Q/K/V 同源；交叉注意力 Q 与 K/V 不同源。自注意力在编码器、解码器里都能用；交叉注意力常出现在编码器-解码器架构的解码端。
自测自注意力与交叉注意力的核心区别是：
// 带走一句话
同源=自注意力（编解码器都能用）；异源=交叉注意力（Q 来自一序列、K/V 来自另一序列）。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。