logo

单卡部署27B稠密模型:显存估算到API上线

作者:KAKAKA2026.11.18 11:35浏览量:0

简介:本文面向在单张32 GB显卡上部署27B稠密模型的工程师,给出权重、KV cache与框架开销的估算方法,并用示例数字推算安全上下文长度与并发数。文章还比较AWQ、GPTQ等4-bit量化方案,提供vLLM启动参数与OpenAI兼容接口示例,并列出压测、OOM排查和回滚清单。所有数值都只是估算起点,需在目标机器上实测确认。

一、前提与部署边界

本文面向在单张GPU上部署270亿参数稠密模型的工程师。文中以一张32 GB显存的GPU为计算示例。文中的数字都是估算起点,上线前必须在目标机器上实测。

部署前先确认以下四项信息。

  • GPU型号与显存大小。执行 nvidia-smi 可以查看。
  • 模型目录中的 config.json。需要三个字段:num_hidden_layers(层数)、num_key_value_heads(KV头数)、head_dim(头维度)。如果配置中没有 head_dim,用 hidden_size 除以 num_attention_heads 计算。
  • 推理引擎的最低版本,以模型卡和引擎文档为准。版本过低时,常见现象是引擎无法识别模型结构。
  • 驱动与CUDA版本满足引擎要求。

计算KV cache时要用 num_key_value_heads,不能用 num_attention_heads。采用分组查询注意力(GQA)或多查询注意力(MQA)的模型,KV头数少于注意力头数,二者混用会高估显存占用。

如果模型同时包含线性注意力层,KV cache只统计标准全局注意力层。全局注意力层数以配置文件或模型卡中的标注为准。

本文以vLLM作为示例引擎。安装时把版本号替换为模型卡要求的版本:

  1. python -m venv /opt/llm/venv
  2. source /opt/llm/venv/bin/activate
  3. pip install "vllm==<模型卡要求的版本>"

安装完成后执行下面两条命令验证。第一条确认包可以导入并输出版本号,第二条确认GPU驱动可见。

  1. python -c "import vllm; print(vllm.__version__)"
  2. nvidia-smi

二、显存估算

单卡显存主要由三部分组成:权重、KV cache和框架开销。下面分别估算。文中的GB均按十亿字节计算,KiB、MiB按二进制单位计算。

2.1 权重

权重大小等于参数量乘以每个参数占用的字节数。这里的参数量按270亿计算。下表只包含权重本身,不含框架开销、激活值和KV cache。

精度 每参数字节数 纯权重估算 说明
FP16/BF16 2 约54 GB 单张32 GB显卡放不下
INT8 1 约27 GB 剩余显存很少,KV cache容量受限
INT4 0.5 约13.5 GB 量化缩放参数等额外开销会让实际占用更高,需按具体产物实测

INT4的实际占用取决于量化方案、分组大小(group size)以及是否保留部分层为高精度。文中不给出固定数值,以目标机器上加载后的显存读数为准。

2.2 KV cache

KV cache随上下文长度和并发请求数线性增长。单个token的占用量按下式计算:

单token字节数 = 2 × 全局注意力层数 × KV头数 × 头维度 × 每元素字节数

公式中的系数2表示K和V各存一份。单请求占用量等于单token字节数乘以上下文长度。并发总占用量等于单请求占用量乘以并发数。

下面用一组假设值演示计算方法。假设模型有16层全局注意力层,KV头数为8,头维度为128,KV cache使用FP16,每元素2字节。这组数值只用于演示,并不对应某个具体的27B模型。

  • 单token:2 × 16 × 8 × 128 × 2 = 65,536 字节,即64 KiB。
  • 单请求,上下文8,192 token:65,536 × 8,192 = 536,870,912 字节,约537 MB。
  • 若KV cache可用预算为10 GB,可容纳的总token数约为 10 × 10⁹ ÷ 65,536 ≈ 152,000 个。按每请求8,192 token计算,理论上约能支撑18路满上下文请求。

这些理论值没有扣除分块管理的碎片和预留空间,上线时应取其70%至80%作为规划值。

2.3 框架开销与总显存

vLLM在一张卡上的显存大致分为四部分:

  1. 权重。
  2. 激活值与中间张量。预填充(prefill)阶段的峰值最高,它随 --max-num-batched-tokens 与输入长度增长。
  3. CUDA上下文、框架与内核占用。这部分基本是固定开销,通常为数GB,需要实测。
  4. KV cache块池。vLLM通过 --gpu-memory-utilization 限定本实例可用显存的比例,扣除权重、激活值峰值和框架开销之后,剩余部分都划给KV cache。

总显存的估算公式如下:

KV cache可用预算 = 显卡总显存 × gpu-memory-utilization − 权重 − 激活值峰值 − 框架开销

下面给出一个完整的数值样例。假设显卡总显存32 GB,gpu-memory-utilization 设为0.90,可用显存为28.8 GB。INT4权重按16 GB计(取理论值与常见实测值之间的保守假设),激活值峰值按2 GB计,框架开销按2 GB计。则:

KV cache可用预算 = 28.8 − 16 − 2 − 2 = 8.8 GB

按2.2节的公式,8.8 GB约可容纳134,000个token。若每请求上下文为8,192 token,理论上限约为16路。上线时按75%左右取规划值,安全并发约为12路。

这些数字都是假设值。启动vLLM后,启动日志通常会打印KV cache的可用容量。若日志数值与估算相差较大,以日志和实测为准,并回头检查权重大小、激活峰值和框架开销的假设。

三、4-bit量化选型对比

4-bit量化是单卡部署27B模型的常见起点。下表比较几种候选方案。

方案 主要特点 适用场景 注意事项
AWQ 根据激活统计保护重要权重通道,权重仍为4-bit vLLM常用的4-bit方案之一,适合对精度有要求的推理服务 需使用与模型匹配的预量化权重,校准数据会影响结果
GPTQ 基于二阶信息逐层量化 生态成熟,可选的模型产物较多 量化过程依赖校准数据,不同硬件和内核的速度差异较大
bitsandbytes NF4 常用于微调场景的4-bit格式 需要在同一框架内加载与微调 推理吞吐往往低于专用推理内核,需要单独压测
FP8 8-bit浮点格式 显存充裕或需要更高精度 27B模型的FP8权重约27 GB,留给KV cache的空间很小,不适合32 GB显卡

选型建议按以下顺序进行。

  1. 确认目标vLLM版本支持该量化格式,并以模型卡的说明为准。
  2. 用自己业务的样本做评测,比较任务准确率、格式合规率和拒答率。不要只看公开榜单,公开成绩未必反映业务场景。
  3. 在相同并发下压测,对比首token延迟和输出速度。
  4. 记录加载后的显存峰值,并将其代入第二章的公式。

分组大小(group size)影响精度与体积的权衡。常见取值为128,取值越小,精度通常越好,但体积会略有增加。分组大小应与模型产物一致,不要在部署时随意更改。

四、vLLM启动参数与API调用

下面是一个启动示例。模型路径、量化格式和端口需要替换为实际值。

  1. export VLLM_API_KEY="请替换为你自己生成的随机密钥"
  2. vllm serve /models/your-27b-awq \
  3. --quantization awq \
  4. --served-model-name local-27b \
  5. --dtype auto \
  6. --max-model-len 8192 \
  7. --gpu-memory-utilization 0.90 \
  8. --max-num-seqs 12 \
  9. --host 127.0.0.1 \
  10. --port 8000 \
  11. --api-key "$VLLM_API_KEY"

各参数的含义和调整方法如下。

参数 作用 调整建议
--quantization 指定量化格式,需与权重产物一致 若产物是GPTQ格式,改为 gptq
--served-model-name 客户端请求中使用的模型名 按团队命名规范设置
--max-model-len 单请求的最大上下文长度,包含输入与输出 取决于第二章的KV预算,超出预算会导致启动失败
--gpu-memory-utilization 本实例可使用的显存比例 从0.85到0.92之间试验,启动失败或运行时OOM则调低
--max-num-seqs 同时处理的最大序列数,即并发上限 取压测得出的安全并发值
--host 与 --port 监听地址与端口 默认只绑定本机或内网地址,外部访问经网关转发
--api-key 接口鉴权密钥 不要在命令行中明文写入密钥,建议由环境变量或密钥管理服务提供

vLLM提供OpenAI兼容接口。服务启动后,可以先检查模型列表是否正常返回:

  1. curl http://127.0.0.1:8000/v1/models \
  2. -H "Authorization: Bearer $VLLM_API_KEY"

使用curl发起一次对话请求:

  1. curl http://127.0.0.1:8000/v1/chat/completions \
  2. -H "Authorization: Bearer $VLLM_API_KEY" \
  3. -H "Content-Type: application/json" \
  4. -d '{
  5. "model": "local-27b",
  6. "messages": [{"role": "user", "content": "用一句话说明KV cache的作用。"}],
  7. "max_tokens": 256,
  8. "temperature": 0.7
  9. }'

使用Python的 openai 客户端调用:

  1. import os
  2. from openai import OpenAI
  3. client = OpenAI(
  4. base_url="http://127.0.0.1:8000/v1",
  5. api_key=os.environ["VLLM_API_KEY"],
  6. )
  7. resp = client.chat.completions.create(
  8. model="local-27b",
  9. messages=[{"role": "user", "content": "用一句话说明KV cache的作用。"}],
  10. max_tokens=256,
  11. temperature=0.7,
  12. )
  13. print(resp.choices[0].message.content)

调用方需要注意,输入token数加上 max_tokens 不能超过 --max-model-len。网关层应在转发前检查这一条件,超长请求直接返回错误,不要交给推理服务处理。

五、压测、OOM排查与回滚

5.1 压测

压测关注以下指标:

  • 首token延迟(TTFT)。
  • 每个输出token的间隔(TPOT或ITL)。
  • 输出吞吐,单位为token每秒。
  • P95与P99延迟。
  • 请求失败率与排队请求数。
  • KV cache使用率。

vLLM在 /metrics 路径暴露Prometheus指标,其中包括运行中和等待中的请求数,以及KV cache使用率。指标名称因版本而异,以所装版本的输出为准。

压测方法如下:

  1. 使用真实业务的请求分布。输入长度与输出长度分别统计,不要只用固定长度的请求。
  2. 逐级加压,例如并发从1、4、8逐步增加到目标值。每一档保持足够长的时间,观察是否稳定。
  3. 为每一档记录延迟分位数、失败率和KV cache使用率。
  4. 按业务的服务等级目标(SLO)定义延迟阈值,找出满足阈值的最大并发。

安全并发值应设在压测中P99达标、KV cache使用率仍有余量的档位。压测结果只代表测试时的数据分布,业务流量变化后需要重新压测。

5.2 OOM排查

OOM通常出现在两个阶段,排查思路不同。

启动阶段。常见现象是加载权重失败,或者日志提示可用于KV cache的显存不足。排查顺序如下:

  1. 执行 nvidia-smi,确认是否有残留进程占用显存。残留进程需先停止。
  2. 检查 --max-model-len 是否超过KV预算能容纳的长度。
  3. 检查 --gpu-memory-utilization 是否设置过高,导致与其他进程争抢显存。
  4. 若仍不足,考虑更小的量化方案,或使用 --kv-cache-dtype fp8 压缩KV cache。该选项依赖硬件与引擎版本,且会影响精度,需要重新做质量评测。

运行阶段。常见现象是处理长请求时进程退出,或者显存在高峰期耗尽。排查方向包括:

  1. 降低 --max-num-seqs,减少同时处理的请求数。
  2. 降低 --max-num-batched-tokens,减小预填充阶段的峰值。
  3. 在网关层限制输入长度和 max_tokens,并检查是否有客户端批量发送超长输入。

排查时请保存完整日志和每次的 nvidia-smi 输出。每次只修改一个参数,修改后重新复测,避免多个变更叠加后无法判断哪一项有效。

5.3 回滚清单

上线前准备:

  • 将启动命令、模型目录路径、vLLM版本和量化产物的校验值写入版本库。
  • 保留上一版的模型目录,以及可用的服务配置,例如systemd服务单元文件。
  • 记录压测基线和质量评测结果,作为判断新版本是否退化的依据。

回滚步骤:

  1. 停止新版本服务,并保存其日志,供事后分析。
  2. 将网关或负载均衡的上游切换到旧服务的地址与端口。
  3. 启动旧版本,依次检查 /v1/models 的返回结果,并发送一次真实请求确认输出正常。
  4. 观察一段时间的错误率和延迟,确认指标恢复。
  5. 记录回滚原因和时间。问题修复并重新压测通过后,再重新上线。

回滚时不要删除新版本的模型目录和日志,它们是后续排查的依据。

风险提示:量化可能影响模型精度和吞吐。上线前应完成质量回归测试和容量压测。本文中的所有数字都是估算,不构成性能承诺,也不能替代在目标硬件上的实测。

发表评论

活动