适配与对齐模块五 · 参数高效微调重点导读 · 9 分钟

LoRA 为什么能用极少参数微调大模型

全参微调一个大模型显存吃不消。LoRA 只训练两个小矩阵，就能达到接近全参微调的效果——这节课讲清它的原理和为什么省。

LoRA 的核心假设：微调时权重的「变化量」ΔW 其实是低秩的——不需要动整个大矩阵，只要用两个瘦长的小矩阵 A、B 相乘去近似它。

W' = W + \Delta W = W + BA

，其中

A \in \mathbb{R}^{r\times d}

，

B \in \mathbb{R}^{d\times r}

，秩

r \ll d

💡 直觉：d=4096、r=8 时，可训练参数从约 1600 万降到约 6.5 万，缩小 250 倍，却能保住大部分效果。这就是为什么一张消费级显卡也能微调开源大模型。