模型压缩中剪枝与量化的协同策略

一、问题的提出：两种压缩手段为何不能“直接叠加”

在模型压缩实践中，剪枝（pruning）与量化（quantization）是最常被组合使用的两类的技术。剪枝通过移除冗余权重或结构化通道来降低参数量与计算量，量化则通过降低数值位宽来压缩存储占用并提升访存效率。一个自然的工程直觉是：两者作用维度不同，先剪枝后量化应当互不干扰。

但实际部署中经常观察到相反的现象：剪枝后的模型再做量化，精度下降幅度明显大于在原始稠密模型上直接量化。原因在于，剪枝改变了权重分布——被剪枝的模型往往呈现更高的稀疏度与更集中的数值范围，部分通道或层的激活分布也随之偏移。量化误差在这种分布上被放大，尤其是低比特量化时，稀疏结构造成的“离群值集中”会显著抬高量化噪声。

因此，剪枝与量化的组合不是一个“顺序拼接”问题，而是一个需要协同设计的联合优化问题。

二、组合顺序：先剪枝后量化仍是主流，但需插入校准环节

从流程上看，业界常见做法仍是“先剪枝、后量化”，其合理性在于：剪枝决定了模型的稀疏结构，而量化需要在该结构上进行校准与误差补偿。若顺序颠倒，先量化再剪枝，剪枝后的权重分布已不再对应量化时的校准统计量，量化尺度会失配。

但关键在于，剪枝与量化之间必须插入一个重校准与微调阶段。典型流程可拆为四步：

1. 训练稠密模型并完成收敛；
2. 执行剪枝（结构化或非结构化），得到稀疏模型；
3. 在剪枝后模型上做少量微调，恢复精度并稳定激活分布；
4. 以微调后的模型为校准集来源，执行量化（含量化感知训练或训练后量化）。

第 3 步常被忽略，但它直接决定了量化阶段的误差基线。剪枝后不做恢复微调，模型本身已处于精度低谷，再叠加量化误差，最终精度损失往往不可接受。

三、粒度匹配：结构化剪枝更适合与低比特量化组合

剪枝分为非结构化剪枝（细粒度稀疏）与结构化剪枝（按通道、注意力头、层等整块移除）。两者与量化的兼容性差异明显。

非结构化剪枝产生的稀疏权重矩阵，在通用硬件上难以获得实际加速，且稀疏索引本身带来额外存储开销。当与低比特量化组合时，稀疏模式与量化尺度的对齐更加复杂，容易出现“压缩率虚高、实际收益有限”的情况。

结构化剪枝则与量化天然契合：被保留的通道仍为稠密结构，量化可以按通道或按层统一施加尺度，校准过程更稳定。因此在面向实际推理加速的场景中，推荐优先采用结构化剪枝，再对保留结构做量化。若必须使用非结构化剪枝，则应搭配支持稀疏计算的运行时，并单独评估其与量化叠加后的端到端收益。

四、量化感知训练在组合流程中的位置

训练后量化（PTQ）实现简单，但在剪枝后的模型上往往需要更精细的校准。当比特数降至 4 bit 及以下时，建议引入量化感知训练（QAT）：在训练前向中模拟量化误差，让模型权重主动适应低比特表示。

组合流程中，QAT 可与剪枝微调合并为一个阶段：在剪枝后的模型上，同时进行稀疏结构约束下的量化感知微调。这样模型在恢复精度的同时，也学习了量化带来的舍入误差，避免“先微调再量化”造成的二次失配。

一个简化的组合配置示意如下（以通用深度学习框架的表达方式呈现）：

# 伪代码：剪枝后进行量化感知微调的配置骨架
config = QuantConfig(
    bits=4,
    scheme="per_channel",          # 按通道量化，匹配结构化剪枝后的稠密结构
    calibration_samples=512,       # 校准样本来自剪枝微调后的验证集
    qat_epochs=3,                  # 与剪枝微调合并执行
    observer="minmax",             # 对稀疏后分布使用更稳健的观测器
)
model = prune_model(model, sparsity=0.4, structured=True)
model = finetune_with_qat(model, config)

需要强调的是，校准样本应覆盖剪枝后模型的实际输入分布，而非沿用原始稠密模型阶段的校准集，否则量化尺度会偏离真实激活范围。

五、误差放大与补偿：几个可操作的检查点

组合压缩的精度问题通常集中在少数层。工程上可建立以下检查点：

• 逐层敏感度分析：分别评估剪枝和量化对每一层输出的扰动，定位误差叠加最严重的层，对这些层降低剪枝比例或提高量化位宽；
• 激活离群值监测：低比特量化对激活中的离群值极为敏感，剪枝后应重新统计各层激活的最大值与分位数，必要时采用分通道尺度或保留少量高精度通道；
• 端到端延迟验证：压缩率不等于加速比。结构化剪枝加低比特量化后，应在目标运行时上实测吞吐与延迟，避免出现参数变少但推理未加速的情况；
• 精度回退阈值：设定可接受的精度回退上限，若组合压缩后超出阈值，优先回退量化位宽而非放弃剪枝结构，因为结构变更对部署影响更大。

六、小结

剪枝与量化的组合，核心不在于“谁先谁后”的简单选择，而在于三步协同：剪枝后必须做恢复性微调以稳定分布；量化粒度应与剪枝粒度匹配，结构化剪枝更适合与低比特量化搭配；低比特场景下应把量化感知训练与剪枝微调合并，让模型同时适应稀疏结构与数值误差。在此基础上配合逐层敏感度分析与端到端延迟验证，才能在模型体积、精度与推理性能之间取得可复现的平衡。