大模型量化方法是什么?技术路线分类与选型要点
作者:新兰2026.11.18 12:04浏览量:0简介:大模型量化是指用更低位宽表示模型权重、激活值或 KV cache,同时把精度损失控制在可接受范围内的技术集合。本文系统梳理量化的定义、价值、主流分类、工作原理与评估方法,并解释权重量化与激活量化的区别、离群值与块级共享缩放的关系、量化与旋转类变换的收益与开销,最后给出部署与选型注意事项。
一、概念定义:大模型量化到底在做什么
大模型量化(Quantization)指的是:用更少的比特位来表示模型中原本以较高精度(如 BF16/FP16)存储的数值,从而在显存占用、内存带宽压力和推理延迟上取得收益,同时把输出质量的下降控制在一个可接受区间内。
从三个视角看会更清楚:
- 技术视角:量化是一个数值映射问题。它把连续(或高精度)的取值域,压缩到有限个可表示的“档位”上。核心是两个动作——确定缩放系数(scale)与零点(zero-point),以及执行映射与还原。
- 业务视角:量化是推理成本的调节手段。它让原本需要多卡承载的模型,有机会在更少的加速卡上服务;也让端侧、边缘侧部署成为可能。
- 使用视角:量化是部署前的一次“离线加工”,产出一份新的权重文件与配套的运行时支持。使用者关心的是三件事:能跑起来吗?质量掉多少?快多少?
需要强调一个常见误解:量化不等于“把模型变小”。它同时改变了三样东西——存储位宽、数值格式、以及计算时的数据类型路径。只有在运行时真正支持对应的低位宽计算(或高效的模拟/反量化流程),存储收益才能转化为吞吐收益;否则可能只省下显存,反而变慢。
二、背景与价值:为什么量化成为大模型部署的必选项
大模型的工程瓶颈,长期不在算力峰值,而在显存容量与显存带宽。
容量瓶颈。 一个总参数 122B 的模型,即使以 BF16 存储,权重本身就接近 244GB。这意味着任何单卡方案都不可能“把模型完整放进去”。权重量化到 4 位,理论上能把这一项压到约四分之一,从根本上改变部署可行域。
带宽瓶颈。 自回归解码阶段,每生成一个 token 都要把权重从显存搬进计算单元一次。此时推理往往是访存受限(memory-bound)而非算力受限,位宽减半通常带来接近线性的加速。
KV cache 的增长。 上下文越长、并发越高,注意力键值缓存的占用越大,且它与权重争抢同一块显存。因此“权重量化省了多少显存”必须和“还剩多少显存给 KV cache 与运行时”放在一起算,否则容易得出过于乐观的结论。
混合专家(MoE)结构的特殊性。 MoE 模型每次前向只激活部分专家,总参数量大而单次激活量小。这类结构对显存容量极其敏感(专家权重必须常驻或被高效调度),同时又因为“每次只算一部分”而在访存上受益明显,是量化的典型目标场景。
三、主流方法分类:五条正交的划分维度
现实中的量化方案通常是多个维度组合的结果。把这五条维度拆开,比记住某个具体方法名更有用。
1. 按量化对象划分
- 仅权重量化(W-only):只压缩权重,激活保持高精度(如 W4A16、W8A16)。实现简单、质量损失小,收益主要体现在显存占用与访存开销,适合解码阶段的访存受限场景。
- 权重与激活同时量化:W8A8、W4A4 这类配置。收益更大(可以走真正的低位宽计算通路),难度也更高——激活随输入变化,分布不可预先固定,且存在动态范围问题。
- KV cache 量化:压缩注意力缓存,主要解决长上下文与高并发下的显存增长。
- 量化感知训练(QAT):在训练/微调阶段就模拟量化误差,质量通常最好,但需要算力与数据,成本高。
2. 按是否需要校准与搜索划分
- 朴素舍入(RTN, Round-to-Nearest):把每个数值直接舍入到最近的可表示值。它是所有方法的默认基线,实现代价最低,但在激活侧离群值严重时精度损失明显——这也说明,直接舍入往往丢掉了相当一部分预测能力。
- 基于校准数据的方法:用小规模代表性数据统计数值分布,据此确定缩放系数,或用误差补偿的方式逐列/逐层修正舍入带来的偏差(例如借助二阶信息最小化层输出误差)。
- 基于激活统计的缩放搜索:观察哪些通道的激活幅度大,对这些通道做预缩放,把它们“搬进”更容易表示的范围,再对权重做反向补偿。
- 旋转/变换类方法:用一个正交变换(如 Hadamard 类矩阵)把某个坐标上的能量“摊”到更多坐标上,削平尖峰,降低离群值对量化档位分配的挤占。
3. 按量化粒度划分
粒度越细,误差越小,元数据开销越大:
- per-tensor:整张量共用一个 scale,最省元数据,最容易被尖峰拖垮。
- per-channel:每个输出通道一个 scale,可以调平不同通道之间的尺度差异。
- per-group / block-wise:每 N 个元素共享一个 scale(例如每 32 个元素共享一个 8 位纯指数的缩放因子,每个元素再存 4 位浮点编码)。这是当前 4 位格式的主流做法。
- per-token 动态:推理时按当前 token 的激活重新计算 scale,抗离群能力强,但引入在线计算。
这里有一个关键认知:per-channel 解决的是“通道之间尺度不同”,而不是“同一块内部有尖峰”。块级共享 scale 必须容纳块内最大值,其他元素的表示精度就会被整体拉粗。这正是块级 4 位格式的固有代价,也是各种变换类与搜索类方法要解决的问题。
4. 按数值格式划分
整数(对称/非对称 INT8、INT4)之外,低位浮点格式正在普及。以“每 32 元素共享一个 8 位纯指数、元素本身 4 位浮点”这类格式为例,它把动态范围交给块级共享指数,把精度留给元素编码,在长尾分布上通常比纯整数更稳。
5. 按结构感知程度划分
成熟的方案不会“一刀切”地量化所有模块,而是分层决策。一个被广泛采用的实践是:只量化 transformer 主干中的大规模线性层(尤其 MoE 的专家层),而保留 embeddings 与 lm-head(输出投影)在原精度。原因是这两处的输入是词表分布,分布形状特殊、对舍入敏感,且它们通常不是算力瓶颈,量化收益有限而风险偏高。
四、工作原理:从映射公式到流式流程
量化的基本映射可以写成:
q = clip(round(x / s) + z, 0, 2^n - 1)x_hat = s * (q - z)其中:s = (x_max - x_min) / (2^n - 1) # 缩放系数z # 零点,对称量化时为 0
误差从哪来?一是舍入误差(round 到整数),二是范围不足(超出 [x_min, x_max] 的部分被 clip)。降低位宽后档位变少,两者都会放大。离群值之所以危险,正是因为它同时抬高了 x_max,压缩了其余数值的有效档位。
一个可迁移的工程结论:基变换限制在层内
某研究团队近期更新的技术论文里,最值得讨论的设计之一,是把量化所用的基变换限制在每个线性层内部,而不是跨层构造。这个约束带来两个直接后果:
- 量化过程可以流式进行:GPU 逐层读取、变换、量化、写出权重,无须一次把全精度模型装进显存。对于无法整体放下的超大模型,这往往是唯一可行的工程路径。
- 推理时多了在线变换开销:既然变换没有被“吸收”进别的权重,运行时就要为激活做额外变换。
论文中给出的一组数据可以说明这类流程的量级:对某 122B 总参数、每次激活约 10B 参数的 MoE 模型,量化过程峰值占用约 32.5GB,量化后模型常驻约 74GB,耗时约 64 分钟。峰值与常驻是两笔不同的账:32.5GB 是加工期的临时占用,74GB 才是服务期的成本。在 96GB 显存的单卡上,74GB 之外名义上还剩约 22GB,要留给 KV cache 与运行时;能支撑多长上下文、多大并发,必须按实际后端与负载实测。
变换吸收:把在线开销降到接近零的思路
推理阶段的变换开销可以尝试消除:如果把激活侧的变换沿网络向后传播,就能把它吸收进相邻层的权重里,推理时不再需要单独执行变换。听起来很美,但传播路径上要依次处理归一化层(缩放/平移的可交换性)、残差分支(两条路径需要一致处理)以及前序投影(矩阵维度与排列必须匹配)。任何一处结构处理不当,都会让“吸收”失效或引入数值偏差。因此这类方法虽然能显著改善推理性能,实现复杂度也明显更高。
一份务实的权衡结论是:变换被限制在层内 → 量化过程简单、可流式、显存峰值可控,但推理时承担一定比例的开销(示例中在 2.3% 与约 8% 两个量级);变换被跨层吸收 → 推理开销更低,但工程复杂度与耦合度上升。
五、如何评估一套量化方案
不要被单一指标说服,至少同时看下面五组:
| 维度 | 观察指标 | 说明 |
|---|---|---|
| 质量 | PPL、下游任务准确率、长文本一致性 | PPL 只在“同一模型 + 同一评测集 + 同一上下文配置”下可比,跨模型比 PPL 没有意义 |
| 显存 | 量化峰值、常驻占用、剩余给 KV cache 的空间 | 峰值决定“能否量化得起来”,常驻决定“能不能部署” |
| 性能 | 首 token 延迟、解码吞吐、在线变换开销 | 在线变换可能吃掉一部分收益 |
| 工程 | 量化耗时、是否需要校准集、复现成本 | 64 分钟量级是一次性成本,可接受;反复迭代则要考虑 |
| 服务能力 | 可承载上下文长度、最大并发 | 只能实测,不能从显存数字简单外推 |
特别注意口径混用:耗时、峰值显存、推理开销这几个数字,往往来自不同规模的模型实验,必须逐项对应到各自的模型规模与硬件条件,不能拼成一条“结论”。
六、典型应用场景
- 超大模型单卡/少卡落地:全精度模型放不下时,权重量化 + 分层结构保留是常见组合。
- MoE 模型服务化:总参数巨大、激活稀疏,容量是主要约束,量化收益直接体现在可用并发上。
- 长上下文与高并发场景:权重与 KV cache 同时量化,才可能在固定显存下同时扩大上下文窗口和批大小。
- 端侧与边缘推理:低位宽权重配合专用运行时,是端侧部署大模型的主要路径。
- 成本优化与存量资源复用:在既有加速卡上通过量化提升单位卡的服务能力,避免硬件扩容。
- 配合推理框架做算子优化:量化格式需要运行时支持才能释放性能,选型时要把“框架是否原生支持该格式”作为硬约束。
七、相关概念的区别与联系
- 量化 vs 剪枝:量化降低每个数值的位宽;剪枝删除权重或注意力连接,改变结构稀疏度。二者可叠加,但剪枝通常还需要稀疏算子支持才能真正加速。
- 量化 vs 蒸馏:量化压缩数值表示;蒸馏用大模型指导小模型训练,得到的是一个新模型。前者几乎不改结构,后者产出新权重。
- 量化 vs 低秩分解:分解降低参数量的有效秩,量化降低每个参数的存储位宽,作用点不同。
- PTQ vs QAT:前者只做校准,成本低、周期短;后者在训练中模拟量化,质量上限更高,但需要算力与数据。
- RTN vs 误差补偿类方法:都以“不训练”为前提,区别在于是逐元素独立舍入,还是利用层输出误差信息做全局协调。
- W4A16 vs W4A4:前者只压权重,激活高精度,风险低、收益中等;后者两侧都压,收益大但必须处理激活离群值,否则质量下降明显。
- “量化后模型”与“量化过程”:常驻显存与峰值显存是两个不同概念,混用是部署规划中最常见的错误来源。
八、使用注意事项
- 敏感模块保留原精度。embeddings 与输出投影通常值得保留高精度,代价小而风险显著降低。
- 校准集要贴近真实分布。校准数据的长短文本比例、领域、语言分布如果与实际流量偏差大,量化后的质量评估会失真。
- 确认硬件与运行时对该数值格式的支持。若格式不被原生支持,需要通过反量化模拟执行,性能收益可能大幅缩水甚至倒退。
- 为在线变换预留预算。旋转/变换类方法必须实测推理阶段的额外开销,并关注它是否随序列长度放大。
- 别用显存数字推断服务能力。剩余显存能支持多长上下文、多大并发,取决于注意力实现、批调度策略与缓存策略,只能压测得出。
- 建立量化回归基线。固定评测集与解码参数,把 PPL、关键任务指标、延迟一起纳入版本对比。
- 权重来源与完整性校验。引入第三方量化权重时,校验来源与哈希,避免供应链风险;同时确认许可条款允许该用途。
- 失败要能回退。保留一份高精度权重与一份已知可用的量化版本,便于快速回滚。
如果你在百度智能云上做部署规划,可以按“量化峰值显存 → 常驻占用 → 剩余显存 → 上下文与并发”的顺序做一次完整核算,再结合对象存储管理权重版本、监控告警观察延迟与显存水位,比只看一个精度指标可靠得多。
九、总结
大模型量化的定义并不复杂:用更低位宽表示数值,换取显存、带宽与延迟上的收益,并把质量损失控制在可接受范围。真正决定成败的是四个工程判断——量化哪些模块(是否保留 embeddings 与 lm-head)、在什么粒度上定 scale(per-channel 解决通道差异,块级共享指数控制元数据开销,但块内尖峰仍需靠缩放搜索或正交旋转来削平)、变换放在哪(限制在层内换取流式量化与低显存峰值,跨层吸收换取更低推理开销)、以及如何衡量收益(峰值与常驻分开算,质量指标只在同条件下可比,服务能力必须实测)。
把这些想清楚,量化的适用边界也就清晰了:它是显存与成本约束下的最优解之一,但不是免费的——它的代价写在离群值里、写在块级共享 scale 的精度损失里、写在推理时的那一次在线变换里。

登录后可评论,请前往 登录 或 注册