大模型推理显存怎么算?公式、脚本与优化实战
作者:JC2026.11.17 03:32浏览量:0简介:本文拆解大模型推理的四类显存开销,给出各精度下的权重占用表、KV Cache 计算公式和可直接运行的 Python 估算脚本。读完可以算出目标并发与上下文下需要的显卡数量,并按量化、张量并行、限制并发的顺序处理爆显存问题。
先说结论:显存由四部分组成
很多人估算显存时只算模型权重,结果 8×A100 80G 跑 70B 模型依然 OOM。推理时的真实占用可以拆成四部分:
总显存 ≈ 权重(W) + KV Cache(KV) + 激活与临时缓冲(A) + 框架与 CUDA 上下文(F)
权重大小固定,与请求数无关。KV Cache 随并发数和上下文长度线性增长,是长上下文、高并发场景中最容易把显存打满的部分。算力决定推理速度,显存决定模型能不能启动。算力不足时响应变慢,显存不足时服务直接起不来。
一、权重显存:参数量乘以每参数字节数
每个参数占用多少字节,由数值精度决定。下表以 1B 参数为基准,并换算出 70B 模型的权重大小:
| 精度 | 位宽 | 1B 参数占用 | 70B 模型权重 | 典型场景 |
|---|---|---|---|---|
| FP32 | 32 bit | 4 GB | 280 GB | 训练、精度敏感的校验 |
| FP16 / BF16 | 16 bit | 2 GB | 140 GB | 推理主流精度 |
| FP8(E4M3 / E5M2) | 8 bit | 1 GB | 70 GB | Hopper 及以上,吞吐优先 |
| INT4 / FP4 | 4 bit | 0.5 GB | 35 GB | 单卡或边缘部署 |
这里的 GB 按十亿字节计算。
FP16 由 1 位符号、5 位指数和 10 位尾数组成。它的最大值约为 65504,最小正规数约为 6.10e-5,十进制精度约 3 位有效数字。Tensor Core 对它支持很好,但动态范围窄,数值容易溢出或下溢。BF16 的指数位与 FP32 相同,都是 8 位,数值范围可达约 3.4e38,代价是尾数只有 7 位,精度只有约 2 位有效数字,训练时通常更稳。FP8 有两种格式:E4M3 的最大值为 448,适合保留精度;E5M2 的最大值为 57344,动态范围更大。FP8 和 FP4 更省显存也更快,但需要按张量或按通道设置缩放因子,才能保住精度。
经验公式如下:
权重显存(GB) ≈ 参数量(B) × 每参数字节数
MoE 模型需要单独看。以 671B 参数的 DeepSeek-R1 为例,每个 token 只激活约 37B 参数,但全部专家的权重都要常驻显存。因此显存按总参数估算,而计算量和访存带宽压力按激活参数估算。
二、KV Cache:长上下文与高并发的主要消耗
自回归解码时,引擎会缓存每一层的 Key 和 Value,避免每生成一个 token 都重算全部历史。计算公式如下:
KV_per_token = 2 × 层数 L × KV 头数 H_kv × head_dim × 每元素字节数KV Cache 总量 = KV_per_token × 序列长度 × 并发请求数
以 Llama-3-70B 为例,它有 80 层,使用 GQA 后只有 8 个 KV 头,head_dim 为 128,采用 FP16 存储:
2 × 80 × 8 × 128 × 2 B = 327,680 B ≈ 320 KiB / token单条 32K 请求:32768 × 320 KiB ≈ 10.7 GB32 条并发、每条 32K:10.7 GB × 32 ≈ 343.6 GB
这里要区分两个口径。单条请求的 10.7 GB 不包含并发,32 条并发才是 343.6 GB。这也是为什么模型权重放得下,压测时却容易崩溃。
DeepSeek-R1 使用 MLA(多头潜在注意力),把 KV 压缩成低秩潜向量。每层每个 token 保存 512 维潜向量和 64 维 RoPE 键,共 576 个元素。以 BF16 计算,61 层的总量是 576 × 2 B × 61 ≈ 70 KB / token,约为 Llama-3-70B 的 1/4.6。
降低 KV Cache 占用的手段包括:
- GQA 和 MQA:减少 KV 头数。
- MLA:对 KV 做低秩压缩,需要模型本身支持。
- KV Cache 量化:改用 FP8 或 INT8 存储,需要检查精度。
- PagedAttention:按页分配显存,减少碎片。
- dp-attention(SGLang 中为
--enable-dp-attention):在 MLA 模型上,普通张量并行会让每张卡保存一份相同的 KV。开启后,各数据并行组按请求分担 attention,减少重复占用,同时提升 token 吞吐。
三、激活与框架开销:通常占 10% 到 20%
激活值与临时缓冲区的大小取决于 batch size、序列长度和隐藏维度。Prefill 阶段需要一次处理整段输入,峰值显存远高于 Decode 阶段。
多卡部署时,NCCL 的 all-reduce 缓冲区、自定义算子的 workspace 以及 CUDA Graph 都会占用额外显存,而且每张卡都要承担一份。
推理引擎还会按比例预留显存,用于 KV Cache 池。SGLang 的 --mem-fraction-static 控制权重与 KV Cache 占用的总比例,官方默认值会随硬件和并行配置变化,文中以常见的 0.8 为例。vLLM 的 --gpu-memory-utilization 默认值为 0.9。这些默认值以所用版本的文档为准。
调参有两个方向。想要更高吞吐时,调高该系数,给 KV Cache 留更多空间。如果启动阶段出现 CUDA Graph 初始化失败,或 PyTorch 运行时 OOM,则需要调低它。系数设得过高,会挤压激活值和 CUDA Graph 所需的空间,因此建议一边压测一边逐步调整。
四、可直接复用的估算脚本
```python
def estimate_vram_gb(n_params_b, weight_bytes, n_layers, n_kv_heads,
head_dim, seq_len, concurrency, kv_bytes=None, overhead=0.15):
“””返回 (权重 GB, KV Cache GB, 总显存 GB),GB 为十亿字节。
weight_bytes 为每个权重参数的字节数,kv_bytes 默认与其相同。
overhead 为激活、框架与 CUDA 上下文的预留比例,按 (权重 + KV) × (1 + overhead)

登录后可评论,请前往 登录 或 注册