logo

27B模型本地部署:从显存估算到上线验收

作者:暴富20212026.11.18 11:36浏览量:0

简介:面向GPU运维工程师,以假设的27B模型为例,讲解显存与KV Cache估算、双卡示例、vLLM启动参数、量化验收指标、灰度回滚与故障排查。读完后,你可以据此估算显卡数量,并按清单完成一次可验收的上线。

本文以一款假设的27B级模型为例。文中的参数都是假设值,不对应任何已公布的产品。实际部署前,请用模型自带的config.json替换文中数值,再重新计算。

一、先判断场景:本地部署还是云端API

本地部署的主要收益是数据不出内网、延迟稳定、调用成本可预测。代价是团队要自己负责显卡采购、环境维护、版本升级和容量规划。

判断维度 更适合本地部署 更适合云端API
数据合规 数据不允许出域 数据可脱敏后外发
调用量 长期稳定且规模较大 波动大,峰谷差距明显
延迟要求 需要稳定的内网延迟 可以接受公网延迟
运维能力 有专职运维和GPU使用经验 人手紧张
模型选择 需要微调或定制推理 通用模型即可满足需求

如果三项及以上落在左列,继续阅读后面的步骤。否则,云端API通常更省事。

成本比较时,本地成本包括显卡折旧、电费和运维人力。云端成本按调用量计费。团队应使用自己的采购价、电价和API单价计算盈亏平衡点,本文不给出通用数字。

二、估算显存:先算权重,再算KV Cache

显存需求由三部分组成:模型权重、KV Cache和运行时开销。

M_total = M_weight + M_kv + M_overhead

容量约束为:M_total 不超过可用显存。可用显存的计算方式如下:

可用显存 = 单卡总显存 × gpu-memory-utilization

nvidia-smi显示的总显存通常略小于标称值,且ECC、MIG、驱动版本和残留进程都会占用额外空间。规划前应使用 nvidia-smi —query-gpu=memory.total,memory.free —format=csv 实测,不要直接使用标称值。

2.1 权重占用

M_weight = 参数量 × 每个参数的字节数 ÷ 1024³(结果单位为GiB)

按27 × 10⁹个参数计算:

精度 每参数字节数 权重占用
BF16 / FP16 2 约50.3 GiB
INT8 1 约25.1 GiB
INT4(AWQ、GPTQ) 0.5 理论值约12.6 GiB,实际取13至15 GiB

27 × 10⁹是总参数量,包含嵌入层和输出层。INT4量化时,量化元数据和缩放因子需要额外存储,嵌入层和输出层通常保留较高精度,因此实际文件比理论值大。规划时以量化后模型目录的实际大小为准。

2.2 KV Cache占用

每个token占用的KV Cache字节数如下:

M_kv_per_token = 2 × L × H_kv × d_head × b

其中,L是层数,H_kv是KV头数,d_head是单个注意力头的维度,b是每个元素的字节数。系数2表示K和V各存一份。

适用边界:H_kv 取值来自模型的 num_key_value_heads 字段。标准多头注意力(MHA)中 H_kv 等于注意力头数 H。分组查询注意力(GQA)中 H_kv 小于 H。多查询注意力(MQA)中 H_kv 为1。该公式假设KV按标准精度存储,若开启KV量化,应把 b 改为对应字节数。

一条序列的KV Cache占用为 M_kv_per_token × 上下文长度。并发占用再乘以同时处理的序列数。

假设模型结构为 L=48、H_kv=8、d_head=128,使用FP16存储:

  • 每个token占用 2 × 48 × 8 × 128 × 2 = 196,608 字节,约192 KiB。
  • 一条32768 token的满上下文序列占用约6 GiB。
  • 8条满上下文序列合计约48 GiB。

容量规划应按上限估算。vLLM按需分配KV Cache,平均上下文较短时实际占用较低,但高峰期若大量请求同时达到上限,显存会不足。

与容量相关的三个参数如下:

  • 张量并行(TP):TP大小为t时,若t不超过H_kv,每张卡的KV头数变为H_kv ÷ t,每卡KV占用降为原来的1/t。若t超过H_kv,KV头需要复制,每卡占用不再下降。
  • max-model-len:服务允许的最大上下文长度。规划时按这个值计算,超过它的请求会被拒绝。
  • 分页块大小(block size):vLLM按块分配KV Cache。块越大,最后一块的未用空间越多。常见取值为16,实际以所用版本的默认值为准。

2.3 单卡与双卡示例

示例一:单张80GB级显卡。 nvidia-smi显示总显存约79.6 GiB,将 --gpu-memory-utilization 设为0.90,可用显存约71.6 GiB。运行时开销按3 GiB假设,实际值需用压测测量。

精度 权重 KV可用空间 可容纳32k满上下文序列
BF16 50.3 GiB 71.6 - 50.3 - 3 = 18.3 GiB 3条
INT4 14 GiB 71.6 - 14 - 3 = 54.6 GiB 理论9条,按8条规划

INT4方案的第9条序列理论上可以放下,但保留余量后按8条规划。

示例二:两张48GB级显卡,张量并行 TP=2。 nvidia-smi显示每张约47 GiB,gpu-memory-utilization 设为0.90,每卡可用约42.3 GiB。每卡运行时开销按1.5 GiB假设。

  • 权重:TP=2时,权重平均分到两张卡。BF16每卡约25.2 GiB,INT4每卡约7 GiB。
  • KV:H_kv=8,TP=2时每卡保留4个KV头,每卡每条32k序列约占3 GiB。
  • 通信:张量并行每层都需要跨卡同步数据。NVLink与PCIe的延迟和带宽差别很大,应先用 nvidia-smi topo -m 确认互联方式,再做压测。
精度 每卡权重 每卡KV可用空间 可容纳32k满上下文序列
BF16 25.2 GiB 42.3 - 25.2 - 1.5 = 15.6 GiB 5条
INT4 7 GiB 42.3 - 7 - 1.5 = 33.8 GiB 11条

示例中的运行时开销为假设值。通信缓冲区会增加每卡开销,因此实际可容纳的序列数可能低于表中数字。本文不给出吞吐数字,相关数据需要在目标硬件上实测。

三、硬件与版本选择

版本组合应固定并记录,不要使用未经验证的组合上线。

项目 要求 检查方法
GPU驱动 与所用CUDA运行时兼容 nvidia-smi 查看驱动版本
CUDA与PyTorch 与vLLM发布说明中的版本匹配 python -c “import torch; print(torch.version.cuda)”
vLLM 团队在预发环境验证过的版本 python -m pip show vllm
GPU互联 多卡之间优先使用NVLink nvidia-smi topo -m
依赖清单 写入锁定文件,例如 requirements.lock 与线上环境逐项比对

升级任何一项前,应先在预发环境重跑第五节的验收,再决定是否上线。

四、vLLM启动配置

下面的命令以BF16、TP=2为例。INT4模型需额外指定量化方式。

  1. vllm serve /models/<model-dir> \
  2. --served-model-name my-27b \
  3. --tensor-parallel-size 2 \
  4. --dtype bfloat16 \
  5. --gpu-memory-utilization 0.90 \
  6. --max-model-len 32768 \
  7. --max-num-seqs 5 \
  8. --port 8000

使用AWQ或GPTQ模型时,追加 --quantization awq 或 --quantization gptq,并确认模型目录中的量化配置与之一致。

参数说明如下:

参数 作用 调整原则
—tensor-parallel-size 模型切分到的卡数 不超过可用卡数,并与拓扑匹配
—gpu-memory-utilization 每卡显存使用上限 从0.90起步,出现OOM时先调低
—max-model-len 最大上下文长度 按业务上限设置,不要盲目放大
—max-num-seqs 同时处理的最大序列数 取容量表计算值,并保留余量
—kv-cache-dtype KV Cache存储精度 可选auto或fp8。fp8可减少约一半KV占用,但需单独验收精度
—enable-prefix-caching 复用相同前缀的计算结果 共享前缀多时启用,并用压测确认收益
—quantization 量化格式 必须与模型文件格式一致

启动后,先检查服务是否就绪:

  1. curl http://127.0.0.1:8000/v1/models
  2. curl http://127.0.0.1:8000/v1/chat/completions \
  3. -H "Content-Type: application/json" \
  4. -d '{"model":"my-27b","messages":[{"role":"user","content":"ping"}],"max_tokens":16}'

第一条命令应返回模型列表,第二条命令应返回一段正常的回复。

五、量化验收指标

量化后只看显存是不够的。量化可能改变模型在业务任务上的表现,因此验收应同时检查质量、性能和稳定性。

指标 测量方法 示例阈值(需由业务方确定)
任务通过率 固定评测集,至少500条,与BF16结果对比 相对BF16下降不超过2个百分点
困惑度 在团队验证集上计算 相对BF16上升不超过5%
首token延迟P95 在目标并发下压测 不超过SLA规定值
输出吞吐 按目标并发统计tokens/s 不低于容量规划假设值
显存稳态占用 nvidia-smi 持续采样 不超过 gpu-memory-utilization 设定值
稳定性 连续运行24小时压测 无进程崩溃,错误率低于0.1%

上表阈值只是示例,不代表任何实测结果。对比时必须保证硬件、启动参数和评测集完全相同。

AWQ和GPTQ需要校准数据。校准数据应接近业务分布,否则量化后模型在业务任务上可能明显退化。

显存采样命令如下:

  1. nvidia-smi --query-gpu=index,memory.used,memory.total,utilization.gpu --format=csv -l 5

性能压测可使用vLLM仓库提供的基准脚本,也可使用团队自有工具。每次压测都应保存参数、版本号和原始结果,便于复现。

六、灰度发布与回滚

上线步骤:

  1. 备份:保存旧模型目录、config.json的哈希值、启动脚本和vLLM版本号。
  2. 灰度:先把5%流量切到新版本,观察至少60分钟。
  3. 扩量:依次放大到25%、50%、100%,每个阶段至少观察1小时。

回滚触发条件(满足任一即回滚):

  • 错误率连续5分钟超过1%。
  • 首token延迟P95连续5分钟超过SLA的1.5倍。
  • 出现OOM或服务进程重启。
  • 第五节的任一验收指标超过阈值。
  • 业务方报告输出质量异常,且能够复现。

回滚操作:

  • 负载均衡把流量切回旧版本。
  • 保留新版本进程和模型文件,用于排查,不要立即删除。
  • 旧版本备份至少保留7天。
  • 记录触发时间、指标截图和处理人。

回滚前不要修改模型文件或配置。直接覆盖旧版本会让问题无法复现。

七、常见故障排查

现象 可能原因 排查方法
启动时OOM 上下文长度或显存上限设置过高,或有其他进程占用显存 调低 gpu-memory-utilization 或 max-model-len,用 nvidia-smi 查看进程列表
运行中OOM max-num-seqs 超过容量表计算值 调低并发,按峰值上下文重新计算
多卡启动报NCCL错误 驱动或CUDA版本不一致,或互联异常 用 nvidia-smi topo -m 检查拓扑,比对各卡驱动版本
首token延迟高 请求排队,或长提示词的预填充耗时长 检查并发和请求长度分布,必要时降低 max-num-seqs
量化后输出质量下降 校准数据与业务分布不符,或聊天模板不一致 核对调用方使用的聊天模板,与BF16结果对比评测
实际可用显存比预期少 ECC或MIG已开启,或残留进程占用显存 用 nvidia-smi 检查ECC模式、MIG状态和进程列表
服务能启动但返回乱码或空内容 分词器或模型文件与配置不匹配 核对 tokenizer 文件与模型目录是否来自同一版本

排查时应先保留现场日志,再修改参数。每次只改动一个参数,并记录结果。

八、上线检查清单

  • 已用config.json替换文中的假设参数,并重新计算容量。
  • 驱动、CUDA、vLLM版本已固定并记录。
  • 容量表按峰值上下文和并发数计算,并保留余量。
  • 量化验收的质量、性能和稳定性指标全部达标。
  • 灰度步骤和回滚触发条件已写入发布记录,值班人员已确认。
  • 旧版本备份完成,哈希值已记录。

发表评论

活动