地基 · 数学与工程数学地基公式约 14 分钟
线性代数速修：矩阵乘、范数、正交
只补大模型真正用到的那几样
学完这节你能：
- 熟练判断矩阵乘法的形状
- 理解向量范数（长度）
- 知道点积、余弦相似度、正交的含义
大模型的每一层几乎都是矩阵乘法。你不需要会解特征值，但必须对「形状」和「相似度」有肌肉记忆。
矩阵乘 —— 中间的 必须相等，结果取两头 、
看一个乘法能不能做、结果多大，只看形状就够。
- 点积 a·b = Σ aᵢbᵢ：衡量两个向量「方向有多一致」，是注意力打分的核心。
- L2 范数 ‖a‖ = √(Σ aᵢ²)：向量的「长度」。
- 余弦相似度 = a·b / (‖a‖‖b‖)：只看方向、不看长度，RAG 检索就靠它。
- 正交：a·b = 0，两向量「无关/垂直」。
🔑 把点积记牢：注意力用它打分，RAG 用它（归一化后）算相似度，embedding 的一切比较都从它来。
▪ 点积与余弦相似度手算
a=[1,2,2], b=[2,0,1]
点积 a·b = 1×2 + 2×0 + 2×1 = 4
‖a‖=√(1+4+4)=3，‖b‖=√(4+0+1)=√5≈2.24
余弦相似度 = 4/(3×2.24) ≈ 0.60（方向较一致）
自测(32×512) 的矩阵乘 (512×64)，结果形状是：
// 带走一句话
矩阵乘看形状 (m×k)(k×n)=(m×n)；点积测方向一致性，余弦相似度=归一化点积。
独立练习
做到这些，才算完成本节
- 不看正文重写公式，并逐项说明符号、形状和单位。
- 改变一个条件，判断公式结果应增大、减小还是不变。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。