预训练工程模块四 · 并行训练概念约 13 分钟
流水线并行与张量并行（3D 并行）
一张卡装不下一个模型时，怎么切
学完这节你能：
- 区分数据/流水线/张量并行
- 理解 3D 并行的组合
- 知道各自切的是什么
| 并行方式 | 切什么 | 直觉 |
|---|---|---|
| 数据并行 | 切数据（模型整份复制） | 更多人各做一份卷子 |
| 流水线并行 | 按层切（不同层放不同卡） | 流水线工位，一层传一层 |
| 张量并行 | 把单层的矩阵切块（层内切） | 一道大题几个人分工算 |
当模型大到单卡放不下，就要把模型本身切开：流水线并行按层纵向切，张量并行在单层内把大矩阵横向切。真实训练常把三者组合起来，叫 3D 并行。
🔑 组合逻辑：张量并行在机内(高带宽)切单层、流水线并行跨机分层、数据并行再复制多份提高吞吐。三个维度叠起来才能训千亿模型。
自测张量并行(Tensor Parallelism)切分的是：
// 带走一句话
3D 并行=数据并行(切数据)+流水线并行(按层切)+张量并行(层内切矩阵)，组合起来训超大模型。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。