解码 · 部署 · 应用模块七 · 解码加速计算约 13 分钟
解码效率指标：吞吐量与延迟
服务快不快，怎么量化
学完这节你能：
- 定义吞吐量与延迟
- 会算 tokens/s
- 区分首 token 延迟与每 token 延迟
- 吞吐量(throughput)：单位时间生成的 token 数(tokens/s)，衡量整体产能。
- 延迟(latency)：TTFT(首 token 时间，含 prefill) + TPOT(每个后续 token 的时间)。
- 两者常有取舍：增大 batch 提高吞吐，但单请求延迟可能上升。
吞吐量 (batch 每请求生成 token 数) 总耗时
单请求总时延 TTFT TPOT
单请求总时延 TTFT TPOT
N_gen = 每请求生成的 token 数。
▪ 手算
batch=8，每请求生成 256 token，总耗时 4 秒
吞吐量 = 8 × 256 / 4 = 512 tokens/s
若 TTFT=0.2s、TPOT=15ms，生成 256 token 单请求时延 ≈ 0.2 + 255×0.015 ≈ 4.03s
自测batch=4、每请求生成 100 token、总耗时 2 秒，吞吐量为：
// 带走一句话
吞吐量=batch×生成token/总耗时(产能)；延迟=TTFT+生成×TPOT(体验)；增大 batch 提吞吐但可能增单请求延迟。
独立练习
做到这些，才算完成本节
- 替换例题中的数值，从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。