适配与对齐模块五 · 参数高效微调方法公式约 16 分钟

LoRA：低秩适配原理

只训两个小矩阵，就逼近全参微调

学完这节你能：

LoRA 的核心假设：微调带来的权重变化量 ΔW 是低秩的——不必更新整个大矩阵，用两个瘦长的小矩阵相乘去近似它就够。

W' = W + \Delta W = W + BA

W \in \mathbb{R}^{d\times k}

（冻结），

B \in \mathbb{R}^{d\times r}

，

A \in \mathbb{R}^{r\times k}

，秩

r \ll \min(d,k)

可训练参数：

d\times k \to r\times(d+k)

训练时 A 随机初始化、B 初始化为 0（保证起始 ΔW=0，不破坏原模型）。

▪ 参数缩减手算

d = k = 4096，r = 8

全参：4096×4096 ≈ 1677 万

LoRA：8×(4096+4096) ≈ 6.55 万

缩小 ≈ 256 倍，效果却接近全参微调

🔑 两个关键性质：① 推理时可把 B·A 合并回 W，不增加任何延迟；② 一个底座 + 多个 LoRA 小插件 = 多个任务专家，随时热插拔。

✗ 常见误解	✓ 正确理解
LoRA 会修改并保存整个大模型。	LoRA 冻结原权重，只训练并保存小矩阵 A、B（几 MB）。

自测LoRA 中 W' = W + BA，被训练的是：

自测变式（换数字再算）：LoRA 作用于 d=k=2048 的权重、秩 r=16，可训练参数约为：

// 带走一句话

LoRA：ΔW=BA 低秩近似，冻结 W 只训 A、B，参数缩数百倍；A 随机/B 置零起步，推理可合并零延迟。

独立练习

做到这些，才算完成本节

学习记录

建议先独立回答自测。读完记录不等于已经掌握。