解码 · 部署 · 应用模块七 · 低资源部署策略计算约 15 分钟
量化：对称/非对称、粒度与显存
用更少的比特存权重，装进小显卡
学完这节你能：
- 理解量化的基本概念
- 区分对称/非对称量化
- 会算量化后的显存
量化：把高精度权重(如 FP16)映射成低比特整数(INT8/INT4)，大幅降低显存与带宽，让大模型能跑在小显卡上。
- 对称量化：零点固定为 0，用一个 scale 映射，简单；适合分布大致对称的权重。
- 非对称量化：额外加一个 zero-point 偏移，能更好拟合不对称分布(如激活)。
- 粒度：per-tensor(整张一个 scale) / per-channel / per-group，越细越准但元数据越多。
- 代价：量化会带来精度损失，位数越低损失越大，需校准/量化感知训练来补。
显存(权重) 参数量 每参数字节
FP16 B，INT8 B，INT4 B
FP16 B，INT8 B，INT4 B
量化主要压的是权重显存(不含 KV 缓存与激活)。
▪ 手算
7B 参数：FP16 ≈ 7e9×2 = 14 GB
INT8 ≈ 7e9×1 = 7 GB
INT4 ≈ 7e9×0.5 = 3.5 GB → 一张 8GB 消费卡也能跑
自测一个 13B 参数模型用 INT4 量化，权重显存约为：
自测变式（换数字再算）：一个 34B 参数模型用 INT8 量化，权重显存约为：
// 带走一句话
量化=低比特存权重(INT8=1B/INT4=0.5B)省显存；对称(无偏移)/非对称(带 zero-point)，越低位损失越大需校准。
独立练习
做到这些，才算完成本节
- 计算 7B 模型在 FP16、INT8、INT4 下仅权重的理论显存，并列出实际额外开销。
- 构造有离群值的权重组，比较不同分组大小下量化误差。
- 替换例题中的数值，从头独立算一遍。
- 用数量级、边界值或反向计算检查结果是否合理。
学习记录
记录本节阅读进度
建议先独立回答自测。读完记录不等于已经掌握。