单卡部署27B稠密模型:显存估算到API上线
作者:KAKAKA2026.11.18 11:35浏览量:0简介:本文面向在单张32 GB显卡上部署27B稠密模型的工程师,给出权重、KV cache与框架开销的估算方法,并用示例数字推算安全上下文长度与并发数。文章还比较AWQ、GPTQ等4-bit量化方案,提供vLLM启动参数与OpenAI兼容接口示例,并列出压测、OOM排查和回滚清单。所有数值都只是估算起点,需在目标机器上实测确认。
一、前提与部署边界
本文面向在单张GPU上部署270亿参数稠密模型的工程师。文中以一张32 GB显存的GPU为计算示例。文中的数字都是估算起点,上线前必须在目标机器上实测。
部署前先确认以下四项信息。
- GPU型号与显存大小。执行
nvidia-smi可以查看。 - 模型目录中的
config.json。需要三个字段:num_hidden_layers(层数)、num_key_value_heads(KV头数)、head_dim(头维度)。如果配置中没有head_dim,用hidden_size除以num_attention_heads计算。 - 推理引擎的最低版本,以模型卡和引擎文档为准。版本过低时,常见现象是引擎无法识别模型结构。
- 驱动与CUDA版本满足引擎要求。
计算KV cache时要用 num_key_value_heads,不能用 num_attention_heads。采用分组查询注意力(GQA)或多查询注意力(MQA)的模型,KV头数少于注意力头数,二者混用会高估显存占用。
如果模型同时包含线性注意力层,KV cache只统计标准全局注意力层。全局注意力层数以配置文件或模型卡中的标注为准。
本文以vLLM作为示例引擎。安装时把版本号替换为模型卡要求的版本:
python -m venv /opt/llm/venvsource /opt/llm/venv/bin/activatepip install "vllm==<模型卡要求的版本>"
安装完成后执行下面两条命令验证。第一条确认包可以导入并输出版本号,第二条确认GPU驱动可见。
python -c "import vllm; print(vllm.__version__)"nvidia-smi
二、显存估算
单卡显存主要由三部分组成:权重、KV cache和框架开销。下面分别估算。文中的GB均按十亿字节计算,KiB、MiB按二进制单位计算。
2.1 权重
权重大小等于参数量乘以每个参数占用的字节数。这里的参数量按270亿计算。下表只包含权重本身,不含框架开销、激活值和KV cache。
| 精度 | 每参数字节数 | 纯权重估算 | 说明 |
|---|---|---|---|
| FP16/BF16 | 2 | 约54 GB | 单张32 GB显卡放不下 |
| INT8 | 1 | 约27 GB | 剩余显存很少,KV cache容量受限 |
| INT4 | 0.5 | 约13.5 GB | 量化缩放参数等额外开销会让实际占用更高,需按具体产物实测 |
INT4的实际占用取决于量化方案、分组大小(group size)以及是否保留部分层为高精度。文中不给出固定数值,以目标机器上加载后的显存读数为准。
2.2 KV cache
KV cache随上下文长度和并发请求数线性增长。单个token的占用量按下式计算:
单token字节数 = 2 × 全局注意力层数 × KV头数 × 头维度 × 每元素字节数
公式中的系数2表示K和V各存一份。单请求占用量等于单token字节数乘以上下文长度。并发总占用量等于单请求占用量乘以并发数。
下面用一组假设值演示计算方法。假设模型有16层全局注意力层,KV头数为8,头维度为128,KV cache使用FP16,每元素2字节。这组数值只用于演示,并不对应某个具体的27B模型。
- 单token:2 × 16 × 8 × 128 × 2 = 65,536 字节,即64 KiB。
- 单请求,上下文8,192 token:65,536 × 8,192 = 536,870,912 字节,约537 MB。
- 若KV cache可用预算为10 GB,可容纳的总token数约为 10 × 10⁹ ÷ 65,536 ≈ 152,000 个。按每请求8,192 token计算,理论上约能支撑18路满上下文请求。
这些理论值没有扣除分块管理的碎片和预留空间,上线时应取其70%至80%作为规划值。
2.3 框架开销与总显存
vLLM在一张卡上的显存大致分为四部分:
- 权重。
- 激活值与中间张量。预填充(prefill)阶段的峰值最高,它随
--max-num-batched-tokens与输入长度增长。 - CUDA上下文、框架与内核占用。这部分基本是固定开销,通常为数GB,需要实测。
- KV cache块池。vLLM通过
--gpu-memory-utilization限定本实例可用显存的比例,扣除权重、激活值峰值和框架开销之后,剩余部分都划给KV cache。
总显存的估算公式如下:
KV cache可用预算 = 显卡总显存 × gpu-memory-utilization − 权重 − 激活值峰值 − 框架开销
下面给出一个完整的数值样例。假设显卡总显存32 GB,gpu-memory-utilization 设为0.90,可用显存为28.8 GB。INT4权重按16 GB计(取理论值与常见实测值之间的保守假设),激活值峰值按2 GB计,框架开销按2 GB计。则:
KV cache可用预算 = 28.8 − 16 − 2 − 2 = 8.8 GB
按2.2节的公式,8.8 GB约可容纳134,000个token。若每请求上下文为8,192 token,理论上限约为16路。上线时按75%左右取规划值,安全并发约为12路。
这些数字都是假设值。启动vLLM后,启动日志通常会打印KV cache的可用容量。若日志数值与估算相差较大,以日志和实测为准,并回头检查权重大小、激活峰值和框架开销的假设。
三、4-bit量化选型对比
4-bit量化是单卡部署27B模型的常见起点。下表比较几种候选方案。
| 方案 | 主要特点 | 适用场景 | 注意事项 |
|---|---|---|---|
| AWQ | 根据激活统计保护重要权重通道,权重仍为4-bit | vLLM常用的4-bit方案之一,适合对精度有要求的推理服务 | 需使用与模型匹配的预量化权重,校准数据会影响结果 |
| GPTQ | 基于二阶信息逐层量化 | 生态成熟,可选的模型产物较多 | 量化过程依赖校准数据,不同硬件和内核的速度差异较大 |
| bitsandbytes NF4 | 常用于微调场景的4-bit格式 | 需要在同一框架内加载与微调 | 推理吞吐往往低于专用推理内核,需要单独压测 |
| FP8 | 8-bit浮点格式 | 显存充裕或需要更高精度 | 27B模型的FP8权重约27 GB,留给KV cache的空间很小,不适合32 GB显卡 |
选型建议按以下顺序进行。
- 确认目标vLLM版本支持该量化格式,并以模型卡的说明为准。
- 用自己业务的样本做评测,比较任务准确率、格式合规率和拒答率。不要只看公开榜单,公开成绩未必反映业务场景。
- 在相同并发下压测,对比首token延迟和输出速度。
- 记录加载后的显存峰值,并将其代入第二章的公式。
分组大小(group size)影响精度与体积的权衡。常见取值为128,取值越小,精度通常越好,但体积会略有增加。分组大小应与模型产物一致,不要在部署时随意更改。
四、vLLM启动参数与API调用
下面是一个启动示例。模型路径、量化格式和端口需要替换为实际值。
export VLLM_API_KEY="请替换为你自己生成的随机密钥"vllm serve /models/your-27b-awq \--quantization awq \--served-model-name local-27b \--dtype auto \--max-model-len 8192 \--gpu-memory-utilization 0.90 \--max-num-seqs 12 \--host 127.0.0.1 \--port 8000 \--api-key "$VLLM_API_KEY"
各参数的含义和调整方法如下。
| 参数 | 作用 | 调整建议 |
|---|---|---|
--quantization |
指定量化格式,需与权重产物一致 | 若产物是GPTQ格式,改为 gptq |
--served-model-name |
客户端请求中使用的模型名 | 按团队命名规范设置 |
--max-model-len |
单请求的最大上下文长度,包含输入与输出 | 取决于第二章的KV预算,超出预算会导致启动失败 |
--gpu-memory-utilization |
本实例可使用的显存比例 | 从0.85到0.92之间试验,启动失败或运行时OOM则调低 |
--max-num-seqs |
同时处理的最大序列数,即并发上限 | 取压测得出的安全并发值 |
--host 与 --port |
监听地址与端口 | 默认只绑定本机或内网地址,外部访问经网关转发 |
--api-key |
接口鉴权密钥 | 不要在命令行中明文写入密钥,建议由环境变量或密钥管理服务提供 |
vLLM提供OpenAI兼容接口。服务启动后,可以先检查模型列表是否正常返回:
curl http://127.0.0.1:8000/v1/models \-H "Authorization: Bearer $VLLM_API_KEY"
使用curl发起一次对话请求:
curl http://127.0.0.1:8000/v1/chat/completions \-H "Authorization: Bearer $VLLM_API_KEY" \-H "Content-Type: application/json" \-d '{"model": "local-27b","messages": [{"role": "user", "content": "用一句话说明KV cache的作用。"}],"max_tokens": 256,"temperature": 0.7}'
使用Python的 openai 客户端调用:
import osfrom openai import OpenAIclient = OpenAI(base_url="http://127.0.0.1:8000/v1",api_key=os.environ["VLLM_API_KEY"],)resp = client.chat.completions.create(model="local-27b",messages=[{"role": "user", "content": "用一句话说明KV cache的作用。"}],max_tokens=256,temperature=0.7,)print(resp.choices[0].message.content)
调用方需要注意,输入token数加上 max_tokens 不能超过 --max-model-len。网关层应在转发前检查这一条件,超长请求直接返回错误,不要交给推理服务处理。
五、压测、OOM排查与回滚
5.1 压测
压测关注以下指标:
- 首token延迟(TTFT)。
- 每个输出token的间隔(TPOT或ITL)。
- 输出吞吐,单位为token每秒。
- P95与P99延迟。
- 请求失败率与排队请求数。
- KV cache使用率。
vLLM在 /metrics 路径暴露Prometheus指标,其中包括运行中和等待中的请求数,以及KV cache使用率。指标名称因版本而异,以所装版本的输出为准。
压测方法如下:
- 使用真实业务的请求分布。输入长度与输出长度分别统计,不要只用固定长度的请求。
- 逐级加压,例如并发从1、4、8逐步增加到目标值。每一档保持足够长的时间,观察是否稳定。
- 为每一档记录延迟分位数、失败率和KV cache使用率。
- 按业务的服务等级目标(SLO)定义延迟阈值,找出满足阈值的最大并发。
安全并发值应设在压测中P99达标、KV cache使用率仍有余量的档位。压测结果只代表测试时的数据分布,业务流量变化后需要重新压测。
5.2 OOM排查
OOM通常出现在两个阶段,排查思路不同。
启动阶段。常见现象是加载权重失败,或者日志提示可用于KV cache的显存不足。排查顺序如下:
- 执行
nvidia-smi,确认是否有残留进程占用显存。残留进程需先停止。 - 检查
--max-model-len是否超过KV预算能容纳的长度。 - 检查
--gpu-memory-utilization是否设置过高,导致与其他进程争抢显存。 - 若仍不足,考虑更小的量化方案,或使用
--kv-cache-dtype fp8压缩KV cache。该选项依赖硬件与引擎版本,且会影响精度,需要重新做质量评测。
运行阶段。常见现象是处理长请求时进程退出,或者显存在高峰期耗尽。排查方向包括:
- 降低
--max-num-seqs,减少同时处理的请求数。 - 降低
--max-num-batched-tokens,减小预填充阶段的峰值。 - 在网关层限制输入长度和
max_tokens,并检查是否有客户端批量发送超长输入。
排查时请保存完整日志和每次的 nvidia-smi 输出。每次只修改一个参数,修改后重新复测,避免多个变更叠加后无法判断哪一项有效。
5.3 回滚清单
上线前准备:
- 将启动命令、模型目录路径、vLLM版本和量化产物的校验值写入版本库。
- 保留上一版的模型目录,以及可用的服务配置,例如systemd服务单元文件。
- 记录压测基线和质量评测结果,作为判断新版本是否退化的依据。
回滚步骤:
- 停止新版本服务,并保存其日志,供事后分析。
- 将网关或负载均衡的上游切换到旧服务的地址与端口。
- 启动旧版本,依次检查
/v1/models的返回结果,并发送一次真实请求确认输出正常。 - 观察一段时间的错误率和延迟,确认指标恢复。
- 记录回滚原因和时间。问题修复并重新压测通过后,再重新上线。
回滚时不要删除新版本的模型目录和日志,它们是后续排查的依据。
风险提示:量化可能影响模型精度和吞吐。上线前应完成质量回归测试和容量压测。本文中的所有数字都是估算,不构成性能承诺,也不能替代在目标硬件上的实测。

登录后可评论,请前往 登录 或 注册