预训练工程模块四 · 高效训练技术概念约 11 分钟
高效训练：FSDP、融合算子、通信优化
把并行与显存优化落到工程
学完这节你能：
- 理解 FSDP 是什么
- 了解融合算子为什么快
- 认识通信-计算重叠
- FSDP(完全分片数据并行)：ZeRO-3 的主流实现，参数/梯度/优化器态全分片，用时临时 all-gather，用完释放。
- 选择性激活重计算：只对最省显存的层做重计算，平衡显存与算力。
- 融合算子(fused kernel)：把多个小算子合成一个 GPU kernel（如 fused LayerNorm、FlashAttention），减少显存读写与启动开销，更快。
- 通信优化：让梯度通信与反向计算重叠、压缩通信量，减少多卡等待。
🔑 高效训练的共同主题：减少「搬数据」的开销。无论 FSDP 的按需 gather、融合算子减少显存读写，还是通信与计算重叠，都是在和内存带宽/通信带宽较劲。
自测融合算子(fused kernel)提速的主要原因是：
// 带走一句话
高效训练=和带宽较劲：FSDP 按需 gather、融合算子减少显存读写、通信与计算重叠。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。