logo

大模型量化方法有哪些?分类、原理与选型指南

作者:公子世无双2026.11.18 12:05浏览量:1

简介:本文系统梳理大模型量化的定义与分类维度,从量化对象、粒度、数据格式到训练后与训练感知方案逐一解析,重点讲解权重与激活量化的差异、激活离群值难题、旋转变换类方法及流式分层量化等工程实践,帮助读者理解各类方法的工作原理、适用边界与选型考量。

一、什么是大模型量化

大模型量化(Quantization)指的是把神经网络中的参数与计算数据从高精度表示(如 FP16/BF16/FP32)转换为低比特表示(如 INT8、INT4、FP8、FP4)的一类技术。其核心目标是在尽量保持模型精度(预测能力)的前提下,降低模型的显存占用、提升推理吞吐,并降低单位计算的能量与硬件成本。

从技术视角看,量化是一种数值映射:把原本分布在较宽动态范围内的高精度浮点数,压缩到有限数量的可表示档位上。从部署视角看,它决定了一张显卡能否装下某个规模的模型、能支撑多长上下文与多大并发。从业务视角看,它是大模型从“训练得出”走向“低成本、规模化上线”的关键一环。

需要先区分两个基础概念:

  • 权重(weights):训练完成、部署后不再变化的固定参数,可以在上线前从容优化;
  • 激活(activations):模型前向计算过程中随输入实时产生的中间结果,随输入分布波动,处理难度显著高于权重。

二、为什么需要量化:背景与价值

大模型的主要成本集中在显存与带宽。以一款混合专家(MoE)架构的模型为例,其总参数可能达到千亿量级(例如约 1220 亿总参数、每次激活约 100 亿参数),即便每次计算只调用部分专家,全精度权重本身也可能占用数十 GB 显存。生成阶段还需要为注意力缓存键值(KV cache)预留空间,并留出运行时开销。

量化的价值主要体现在:

  • 压缩权重:把 16 位压到 4 位,理论上可将权重占用降到约四分之一;
  • 降低带宽压力:推理时权重读取是主要瓶颈之一,低比特能显著提升解码吞吐;
  • 扩展可部署范围:原本需要多卡才能承载的模型,量化后有可能在单卡甚至端侧硬件上运行。

但量化不是免费的午餐。位数越低,可表示的数值越少,误差累积越明显。如何在压缩与精度之间取得平衡,正是各类量化方法要解决的核心问题。

三、量化的分类维度

理解量化方法,关键是先建立分类框架。业界通常从以下几个维度进行划分:

  1. 按量化对象

    • 仅权重量化(Weight-only,如 W4A16):只压缩权重,激活保持高精度。实现简单、精度损失较小,主要收益是显存与带宽,适合显存受限、以自回归解码为主的场景。
    • 权重与激活同时量化(如 W8A8、W4A4):权重和激活都压到低比特,可以进一步利用低比特计算单元加速矩阵乘法。W4A4 表示权重和激活都用 4 位表示,压缩最激进,难度也最大。
  2. 按量化粒度

    • 逐张量(per-tensor):整个张量共享一个缩放因子,最省,但对离群值敏感;
    • 逐通道(per-channel):每个输出通道单独缩放,能对齐不同通道的尺度差异;
    • 逐组/逐块(per-group / per-block):每固定数量的元素(如每 32 个)共享一个缩放因子,在精度与开销之间折中,是低比特方案的主流选择。
  3. 按数据格式

    • 定点整数(INT8/INT4):映射到整数档位;
    • 低精度浮点(FP8/FP4 等):保留指数位,动态范围更友好,适合处理分布差异大的数据。
  4. 按实施时机

    • 训练后量化(PTQ):模型训练完成后直接量化,成本低、无需重训,是大多数开源模型量化的默认选择;
    • 量化感知训练(QAT):在训练或微调过程中就模拟量化误差,精度更高但成本高,多用于对精度极敏感的场景。

四、核心技术难题:激活为什么比权重更难量化

一个常被忽视的事实是:压到 4 位以后,激活往往比权重更难处理。

原因在于离群值(outliers)。激活随输入变化,某些通道可能出现远高于其他通道的数值。当采用块共享缩放(如 MXFP4:每 32 个元素共享一个 E8M0 指数形式的 scale,每个元素再存 4 位 FP4 编码)时,共享的 scale 必须容纳块内最大值,于是其他相对较小的数只能挤在很少的几个档位里,表示变粗、误差增大。逐通道 scale 能调平通道之间的尺度差异,但无法解决单个块内部的尖峰。

这就引出了一条重要的技术路线——旋转变换类方法。

五、主流方法类别详解

  1. 直接舍入(RTN,Round to Nearest)
    最简单的方法:把每个数舍入到最近的可表示值。优点是零训练成本、速度极快;缺点是精度损失可能明显。例如某 80 亿参数级模型在某个公开文本评测集上,FP16 困惑度(PPL)约为 6.14,直接用 MXFP4 做 W4A4 的 RTN 量化后升到约 8.29(PPL 越低越好)。这个差距直观说明了“直接舍入”会损失相当一部分预测能力。

  2. 误差补偿类方法
    以二阶信息为基础,在量化时考虑相邻权重之间的误差传递,通过调整尚未量化的元素来抵消已量化元素引入的误差。此类方法通常精度优于 RTN,代价是量化过程更慢、实现更复杂。

  3. 激活感知类方法
    核心思想是:并非所有权重同等重要。通过少量校准数据识别出“显著”的权重通道,在量化时对这些通道予以保护(如保持更高精度或按比例缩放),从而在低比特下保留关键表达能力。

  4. 旋转变换类方法(应对激活离群值)
    借助正交变换(如 Hadamard 变换)把一个坐标上的能量“摊”到更多坐标上,从而平滑离群值、降低其对量化的影响。因为它是正交变换,只要对输入做一次变换、对权重做对应的逆变换,在精确算术下就能保持原有的线性运算等价。这类方法专门用于缓解激活量化中的尖峰问题。

  5. 流式/分层量化(面向超大模型与 MoE)
    当模型大到无法一次装下全精度版本时,可以让 GPU 逐层处理权重,边读边量化,无须把整个全精度模型载入显存。对 MoE 模型,还可只量化专家(expert)层,而让 embeddings 和 lm-head 保持原精度——这些层对精度敏感或压缩收益有限,保留高精度往往更划算。

六、工作原理与工程账:量化不是“压完就完”

真正落地时,需要算清两笔账。

第一笔是量化过程本身的成本。 某行业量化方案在处理一款 MoE 大模型时给出的参考数据是:量化耗时约 64 分钟,峰值显存约 32.5GB,量化后的模型占用约 74GB。这里要把两种“占用”分开:32.5GB 是量化过程的峰值显存,74GB 是量化后模型的常驻占用。若显卡显存为 96GB,名义上还剩约 22GB,需要留给 KV cache 和运行时;具体能支撑多长上下文、多大并发,还要按推理后端和实际负载实测,不能仅凭“单卡可运行”就下结论。

第二笔是推理时的额外开销。 像旋转变换这类方法,如果在线执行变换,会给推理带来额外的时间成本。已有的优化做法是把激活侧的变换尽量“吸收”进相邻层的权重里,从而省掉在线计算;但这要求沿网络把变换一路传播下去,并妥善处理归一化层、残差分支、前序投影等结构,工程复杂度不低。因此同一个方法在不同规模模型上的开销差异很大,需要逐项评估,不能一概而论。

下面用一段伪代码示意“把缩放折叠进权重、减少在线计算”的基本思路:

  1. # 概念示意:尽量把变换吸收进权重,减少在线计算
  2. W_eff = diag(s_inv) @ W # 激活侧缩放吸收进权重
  3. x' = R @ x # 仅保留必要的在线正交旋转 R
  4. y = quant_matmul(x', W_eff) # 在低比特上做矩阵乘

七、典型应用场景

  • 显存受限的单卡/边缘部署:让原本多卡才能承载的模型在单卡运行;
  • 高并发在线服务:低比特权重降低带宽压力,提升解码吞吐;
  • 成本敏感的大规模推理:在可接受的精度损失内显著降低单位请求成本;
  • MoE 等超大稀疏模型:结合流式/分层量化与选择性量化,控制量化本身的显存峰值;
  • 端侧与私有化部署:在算力与内存都很有限的设备上运行较小规模的量化模型。

八、与相关概念的区别

  • 量化 vs 剪枝(Pruning):剪枝是“去掉”不重要的参数或结构以减小模型;量化是“降低精度”以压缩每个参数的表示。两者可叠加使用。
  • 量化 vs 蒸馏(Distillation):蒸馏是用大模型指导训练小模型,改变的是模型规模或结构;量化不改变参数量,只改变数值表示。
  • PTQ vs QAT:前者训练后一次性量化、成本低,是当前主流;后者在训练中模拟量化、精度更高但成本高。
  • 权重激活量化 vs 仅权重量化:前者压缩更彻底、可用低比特计算加速,但对激活离群值更敏感、难度更大。

九、选型与使用注意事项

  1. 明确瓶颈:如果瓶颈在显存或带宽,仅权重量化通常够用;如果还想吃到低比特算力红利,再考虑权重激活同时量化。
  2. 校准数据要有代表性:PTQ 的精度高度依赖校准集是否覆盖真实输入分布。
  3. 关注离群值处理:低比特 W4A4 场景优先评估逐组缩放、激活感知或旋转变换等缓解手段。
  4. 分开核算内存:量化峰值、量化后常驻、KV cache 与运行时是四笔账,不能混为一谈;单卡可运行不等于能支撑长上下文或高并发。
  5. 用统一评测验证:在同一模型、同一评测集、同一设置下比较困惑度(PPL)等指标才有意义;跨模型、跨规模的开销数据要逐项看。
  6. 关注在线开销:旋转变换类方法要评估是否已做变换吸收,避免推理阶段引入难以接受的额外延迟。
  7. 保护敏感层:embeddings、lm-head 等对精度敏感的层,往往保留高精度更划算。

十、总结

大模型量化的本质,是在显存、带宽、算力与精度之间做可控的取舍。从分类上看,可以按量化对象(仅权重 / 权重加激活)、粒度(逐张量 / 逐通道 / 逐组)、数据格式(INT / FP)和实施时机(PTQ / QAT)来系统理解;从难题上看,激活离群值是低比特量化的主要障碍,RTN、误差补偿、激活感知、旋转变换等方法都在从不同角度缓解它;从工程上看,还要算清量化峰值、模型常驻、KV cache 与推理在线开销这几笔账。理解了这套框架,就能针对不同模型规模、硬件条件和服务负载,做出合理的量化方案选型。

发表评论

活动