量化版本怎么选：中等规模模型本地部署验证指南

一、本文能做什么

本文不附带某个具体模型的实测数据。它提供一套可以直接套用的验证流程。读者拿到同一底座模型的多个量化版本后，按这里的指标和步骤自行测量，再用决策规则选出方案。第七节的记录模板只用于填写本次测试的结果，未测的项保持空白，不要用估计值代替。

二、先用显存公式筛掉不可行的方案

权重占用可以粗略估算：权重字节数 ≈ 参数量 × 每参数比特数 ÷ 8。以 32B（320 亿参数）模型为例：

• 16 比特（BF16/FP16）：约 64 GB
• 8 比特（FP8 或 INT8）：约 32 GB
• 4 比特（AWQ、GPTQ、GGUF 的 Q4 类）：约 16 GB

这些数字只是权重部分。实际文件会略大，因为量化元数据（缩放系数等）和部分保留高精度的层也占空间。运行时还要加上 KV 缓存、激活值和推理框架的预留空间。KV 缓存随上下文长度和并发数增长，所以长上下文加高并发时，即使权重能放下，显存也可能不够。建议预留总显存的 10% 到 20% 作为余量，再用实测峰值校正。

以 24 GB 的单张消费级显卡为例：BF16 版本的权重已超过显存，8 比特版本也放不下，4 比特版本权重约 16 GB，剩余空间给 KV 缓存，需要靠限制上下文长度或并发数来保证可用，最终结论要以实测为准。

三、常见量化格式及适用边界

• 官方 FP8 版本：8 比特浮点格式，体积约为原生权重的一半。需要支持 FP8 计算的 GPU 才能获得速度收益，精度损失通常较小，适合对输出一致性要求高的生产环境。
• AWQ、GPTQ：4 比特权重量化。AWQ 根据激活分布保护重要的权重通道。二者都有较成熟的 GPU 推理框架支持，显存占用显著低于 8 比特方案。
• GGUF：llama.cpp 生态的文件格式，支持 CPU 与 GPU 分层混合运行。Q4_K_M、Q5_K_M、Q8_0 等变体对应不同的位宽与精度折中，适合单机、无服务器环境的部署。
• MLX 格式：面向 Apple Silicon 的统一内存架构，适合在工作站上交互式使用。
• 新一代加速卡的 4 比特浮点格式：需要特定硬件和框架支持，换到其他平台基本不可用。

同一位宽下，量化粒度也会影响结果。按通道或按分组（常见的分组大小为 128）量化通常比按整个张量量化精度更好，但元数据更多，显存略高。选型时应在版本说明中确认量化粒度，并把它记入结果表。

四、评测维度与通过阈值

下表给出的阈值是起点，应按业务要求调整。

维度	指标	测量方法	建议阈值（起点）
功能完整性	长上下文信息召回率、工具调用成功率、JSON 合法率	固定用例集，程序自动校验	相对基线下降不超过 2 个百分点
精度保持	答案与基线的一致率、人工评分	温度为 0，逐条比对基线输出	人工评分差距在 0.2 分（5 分制）以内
性能	首字延迟 P50 和 P95、输出吞吐（token/s）、请求吞吐（req/s）	并发梯度压测	P95 首字延迟满足业务目标
显存	稳态与峰值显存	nvidia-smi 定时采样	峰值不超过可用显存的 90%
稳定性	错误率、OOM 次数、恢复时间	持续压测 2 小时，注入超长输入和畸形请求	错误率低于 0.1%，无 OOM
兼容性	接入网关、监控、日志的改造项数	按部署手册逐项记录	改造项为零，或可接受
成本	单位 token 成本	见下方公式	满足业务目标单价

单位 token 成本的计算方式：

成本（元/百万 token）= 每小时硬件成本 ÷ (吞吐 token/s × 3600) × 1,000,000

硬件成本包括折旧、电费和机房费用。吞吐取稳态值，不取峰值。

五、控制变量与可复现配置

每次对比都要固定下列条件：

• 同一台机器、同一驱动版本、同一推理框架版本
• 最大上下文长度（例如 8192）
• 最大并发序列数和批处理上限
• 提示集与随机种子
• 功能和精度测试用温度 0；性能测试用业务实际采样参数
• 正式计时前预热，发送 50 到 100 个请求
• 每个并发档位持续至少 10 分钟

温度为 0 也不能保证结果逐位相同，不同的计算内核仍可能带来细微差异，因此精度比对应看一致率，不应要求完全相等。

以 vLLM 为例启动 GPU 服务：

vllm serve <模型路径> \
  --quantization awq \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 64 \
  --port 8000

以 llama.cpp 运行 GGUF 文件：

llama-server -m <模型.gguf> -c 8192 -ngl 99 --port 8080

-ngl 控制放到 GPU 上的层数。显存不足时