解码 · 部署 · 应用模块七 · 资源管理与性能优化概念约 11 分钟
资源管理：瓶颈分析与调度
上线后怎么把卡用满、把成本压下来
学完这节你能：
- 区分计算瓶颈与访存瓶颈
- 理解推理服务的调度
- 了解软硬协同优化
- 瓶颈分析：prefill(处理长 prompt)偏计算瓶颈；decode(逐 token)偏访存/带宽瓶颈(KV 缓存搬运)。对症下药才有效。
- 调度：批处理、请求排队、优先级、抢占，平衡吞吐与延迟(SLA)。
- 分布式资源管理：多卡多机的负载均衡与显存分配。
- 软硬协同：算子/内核针对具体硬件优化，充分利用算力与带宽。
🔑 关键区分：解码阶段通常是「访存受限」而非「算力受限」——瓶颈在把 KV 缓存和权重从显存搬到计算单元。这解释了为什么量化 KV、GQA、FlashAttention 能提速。
自测大模型自回归解码阶段常见的瓶颈是：
// 带走一句话
prefill 算力受限、decode 访存受限；靠调度(批/排队/抢占)与软硬协同把卡用满、平衡吞吐与延迟。
独立练习
做到这些，才算完成本节
- 合上正文，用自己的话解释核心概念。
- 写出一个相似概念，并说明两者最关键的区别。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。