预训练工程模块四 · 稳定优化技术概念约 11 分钟
稳定优化：梯度裁剪、训练恢复、损失尖峰
大模型训练几周，怎么防止它突然崩
学完这节你能：
- 理解梯度裁剪防爆炸
- 了解 checkpoint 与训练恢复
- 认识损失尖峰(loss spike)
- 梯度裁剪(gradient clipping)：当梯度范数超过阈值时按比例缩小，防止偶发的大梯度把参数「打飞」。
- 检查点(checkpoint)与恢复：定期保存模型/优化器状态，机器故障后能从断点续训，而不是从头再来。
- 损失尖峰：训练中损失突然飙升。常见处理是回退到上一个 checkpoint、跳过异常数据、或降学习率。
- 权重衰减也有稳定作用，抑制参数无限增大。
🔑 大模型训练动辄几周、上千卡，稳定性是工程重点：梯度裁剪 + 频繁 checkpoint + 混合精度稳定处理，缺一不可。
自测梯度裁剪(gradient clipping)的作用是：
// 带走一句话
稳定训练三招：梯度裁剪防爆炸、定期 checkpoint 可断点续训、遇损失尖峰回退/降 lr。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。