解码 · 部署 · 应用模块七 · 解码加速概念约 12 分钟
解码加速：推测解码等算法
在不改模型质量的前提下更快出词
学完这节你能：
- 理解推测解码的核心思想
- 了解非自回归、早退、级联
- 知道它们的共同目标
- 推测解码(speculative decoding)：用一个小「草稿」模型快速猜几个词，大模型一次并行验证、接受对的部分。多数时候一步顶多步，且输出分布与大模型一致。
- 非自回归解码：并行生成多个词而非逐个，快但质量控制难。
- 早退(early exit)：简单 token 在浅层就输出，不必走完全部层。
- 级联解码：先用小模型，难的再交给大模型。
🔑 共同目标：减少「逐 token 串行」的延迟。推测解码尤其重要——它在保证输出分布不变的前提下显著提速，是当前主流加速手段之一。
自测推测解码(speculative decoding)的核心思想是：
// 带走一句话
解码加速核心是减少串行延迟：推测解码(小模型猜+大模型验,质量不变)、非自回归、早退、级联。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。