27B模型本地部署:从显存估算到上线验收
作者:暴富20212026.11.18 11:36浏览量:0简介:面向GPU运维工程师,以假设的27B模型为例,讲解显存与KV Cache估算、双卡示例、vLLM启动参数、量化验收指标、灰度回滚与故障排查。读完后,你可以据此估算显卡数量,并按清单完成一次可验收的上线。
本文以一款假设的27B级模型为例。文中的参数都是假设值,不对应任何已公布的产品。实际部署前,请用模型自带的config.json替换文中数值,再重新计算。
一、先判断场景:本地部署还是云端API
本地部署的主要收益是数据不出内网、延迟稳定、调用成本可预测。代价是团队要自己负责显卡采购、环境维护、版本升级和容量规划。
| 判断维度 | 更适合本地部署 | 更适合云端API |
|---|---|---|
| 数据合规 | 数据不允许出域 | 数据可脱敏后外发 |
| 调用量 | 长期稳定且规模较大 | 波动大,峰谷差距明显 |
| 延迟要求 | 需要稳定的内网延迟 | 可以接受公网延迟 |
| 运维能力 | 有专职运维和GPU使用经验 | 人手紧张 |
| 模型选择 | 需要微调或定制推理 | 通用模型即可满足需求 |
如果三项及以上落在左列,继续阅读后面的步骤。否则,云端API通常更省事。
成本比较时,本地成本包括显卡折旧、电费和运维人力。云端成本按调用量计费。团队应使用自己的采购价、电价和API单价计算盈亏平衡点,本文不给出通用数字。
二、估算显存:先算权重,再算KV Cache
显存需求由三部分组成:模型权重、KV Cache和运行时开销。
M_total = M_weight + M_kv + M_overhead
容量约束为:M_total 不超过可用显存。可用显存的计算方式如下:
可用显存 = 单卡总显存 × gpu-memory-utilization
nvidia-smi显示的总显存通常略小于标称值,且ECC、MIG、驱动版本和残留进程都会占用额外空间。规划前应使用 nvidia-smi —query-gpu=memory.total,memory.free —format=csv 实测,不要直接使用标称值。
2.1 权重占用
M_weight = 参数量 × 每个参数的字节数 ÷ 1024³(结果单位为GiB)
按27 × 10⁹个参数计算:
| 精度 | 每参数字节数 | 权重占用 |
|---|---|---|
| BF16 / FP16 | 2 | 约50.3 GiB |
| INT8 | 1 | 约25.1 GiB |
| INT4(AWQ、GPTQ) | 0.5 | 理论值约12.6 GiB,实际取13至15 GiB |
27 × 10⁹是总参数量,包含嵌入层和输出层。INT4量化时,量化元数据和缩放因子需要额外存储,嵌入层和输出层通常保留较高精度,因此实际文件比理论值大。规划时以量化后模型目录的实际大小为准。
2.2 KV Cache占用
每个token占用的KV Cache字节数如下:
M_kv_per_token = 2 × L × H_kv × d_head × b
其中,L是层数,H_kv是KV头数,d_head是单个注意力头的维度,b是每个元素的字节数。系数2表示K和V各存一份。
适用边界:H_kv 取值来自模型的 num_key_value_heads 字段。标准多头注意力(MHA)中 H_kv 等于注意力头数 H。分组查询注意力(GQA)中 H_kv 小于 H。多查询注意力(MQA)中 H_kv 为1。该公式假设KV按标准精度存储,若开启KV量化,应把 b 改为对应字节数。
一条序列的KV Cache占用为 M_kv_per_token × 上下文长度。并发占用再乘以同时处理的序列数。
假设模型结构为 L=48、H_kv=8、d_head=128,使用FP16存储:
- 每个token占用 2 × 48 × 8 × 128 × 2 = 196,608 字节,约192 KiB。
- 一条32768 token的满上下文序列占用约6 GiB。
- 8条满上下文序列合计约48 GiB。
容量规划应按上限估算。vLLM按需分配KV Cache,平均上下文较短时实际占用较低,但高峰期若大量请求同时达到上限,显存会不足。
与容量相关的三个参数如下:
- 张量并行(TP):TP大小为t时,若t不超过H_kv,每张卡的KV头数变为H_kv ÷ t,每卡KV占用降为原来的1/t。若t超过H_kv,KV头需要复制,每卡占用不再下降。
- max-model-len:服务允许的最大上下文长度。规划时按这个值计算,超过它的请求会被拒绝。
- 分页块大小(block size):vLLM按块分配KV Cache。块越大,最后一块的未用空间越多。常见取值为16,实际以所用版本的默认值为准。
2.3 单卡与双卡示例
示例一:单张80GB级显卡。 nvidia-smi显示总显存约79.6 GiB,将 --gpu-memory-utilization 设为0.90,可用显存约71.6 GiB。运行时开销按3 GiB假设,实际值需用压测测量。
| 精度 | 权重 | KV可用空间 | 可容纳32k满上下文序列 |
|---|---|---|---|
| BF16 | 50.3 GiB | 71.6 - 50.3 - 3 = 18.3 GiB | 3条 |
| INT4 | 14 GiB | 71.6 - 14 - 3 = 54.6 GiB | 理论9条,按8条规划 |
INT4方案的第9条序列理论上可以放下,但保留余量后按8条规划。
示例二:两张48GB级显卡,张量并行 TP=2。 nvidia-smi显示每张约47 GiB,gpu-memory-utilization 设为0.90,每卡可用约42.3 GiB。每卡运行时开销按1.5 GiB假设。
- 权重:TP=2时,权重平均分到两张卡。BF16每卡约25.2 GiB,INT4每卡约7 GiB。
- KV:H_kv=8,TP=2时每卡保留4个KV头,每卡每条32k序列约占3 GiB。
- 通信:张量并行每层都需要跨卡同步数据。NVLink与PCIe的延迟和带宽差别很大,应先用 nvidia-smi topo -m 确认互联方式,再做压测。
| 精度 | 每卡权重 | 每卡KV可用空间 | 可容纳32k满上下文序列 |
|---|---|---|---|
| BF16 | 25.2 GiB | 42.3 - 25.2 - 1.5 = 15.6 GiB | 5条 |
| INT4 | 7 GiB | 42.3 - 7 - 1.5 = 33.8 GiB | 11条 |
示例中的运行时开销为假设值。通信缓冲区会增加每卡开销,因此实际可容纳的序列数可能低于表中数字。本文不给出吞吐数字,相关数据需要在目标硬件上实测。
三、硬件与版本选择
版本组合应固定并记录,不要使用未经验证的组合上线。
| 项目 | 要求 | 检查方法 |
|---|---|---|
| GPU驱动 | 与所用CUDA运行时兼容 | nvidia-smi 查看驱动版本 |
| CUDA与PyTorch | 与vLLM发布说明中的版本匹配 | python -c “import torch; print(torch.version.cuda)” |
| vLLM | 团队在预发环境验证过的版本 | python -m pip show vllm |
| GPU互联 | 多卡之间优先使用NVLink | nvidia-smi topo -m |
| 依赖清单 | 写入锁定文件,例如 requirements.lock | 与线上环境逐项比对 |
升级任何一项前,应先在预发环境重跑第五节的验收,再决定是否上线。
四、vLLM启动配置
下面的命令以BF16、TP=2为例。INT4模型需额外指定量化方式。
vllm serve /models/<model-dir> \--served-model-name my-27b \--tensor-parallel-size 2 \--dtype bfloat16 \--gpu-memory-utilization 0.90 \--max-model-len 32768 \--max-num-seqs 5 \--port 8000
使用AWQ或GPTQ模型时,追加 --quantization awq 或 --quantization gptq,并确认模型目录中的量化配置与之一致。
参数说明如下:
| 参数 | 作用 | 调整原则 |
|---|---|---|
| —tensor-parallel-size | 模型切分到的卡数 | 不超过可用卡数,并与拓扑匹配 |
| —gpu-memory-utilization | 每卡显存使用上限 | 从0.90起步,出现OOM时先调低 |
| —max-model-len | 最大上下文长度 | 按业务上限设置,不要盲目放大 |
| —max-num-seqs | 同时处理的最大序列数 | 取容量表计算值,并保留余量 |
| —kv-cache-dtype | KV Cache存储精度 | 可选auto或fp8。fp8可减少约一半KV占用,但需单独验收精度 |
| —enable-prefix-caching | 复用相同前缀的计算结果 | 共享前缀多时启用,并用压测确认收益 |
| —quantization | 量化格式 | 必须与模型文件格式一致 |
启动后,先检查服务是否就绪:
curl http://127.0.0.1:8000/v1/modelscurl http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model":"my-27b","messages":[{"role":"user","content":"ping"}],"max_tokens":16}'
第一条命令应返回模型列表,第二条命令应返回一段正常的回复。
五、量化验收指标
量化后只看显存是不够的。量化可能改变模型在业务任务上的表现,因此验收应同时检查质量、性能和稳定性。
| 指标 | 测量方法 | 示例阈值(需由业务方确定) |
|---|---|---|
| 任务通过率 | 固定评测集,至少500条,与BF16结果对比 | 相对BF16下降不超过2个百分点 |
| 困惑度 | 在团队验证集上计算 | 相对BF16上升不超过5% |
| 首token延迟P95 | 在目标并发下压测 | 不超过SLA规定值 |
| 输出吞吐 | 按目标并发统计tokens/s | 不低于容量规划假设值 |
| 显存稳态占用 | nvidia-smi 持续采样 | 不超过 gpu-memory-utilization 设定值 |
| 稳定性 | 连续运行24小时压测 | 无进程崩溃,错误率低于0.1% |
上表阈值只是示例,不代表任何实测结果。对比时必须保证硬件、启动参数和评测集完全相同。
AWQ和GPTQ需要校准数据。校准数据应接近业务分布,否则量化后模型在业务任务上可能明显退化。
显存采样命令如下:
nvidia-smi --query-gpu=index,memory.used,memory.total,utilization.gpu --format=csv -l 5
性能压测可使用vLLM仓库提供的基准脚本,也可使用团队自有工具。每次压测都应保存参数、版本号和原始结果,便于复现。
六、灰度发布与回滚
上线步骤:
- 备份:保存旧模型目录、config.json的哈希值、启动脚本和vLLM版本号。
- 灰度:先把5%流量切到新版本,观察至少60分钟。
- 扩量:依次放大到25%、50%、100%,每个阶段至少观察1小时。
回滚触发条件(满足任一即回滚):
- 错误率连续5分钟超过1%。
- 首token延迟P95连续5分钟超过SLA的1.5倍。
- 出现OOM或服务进程重启。
- 第五节的任一验收指标超过阈值。
- 业务方报告输出质量异常,且能够复现。
回滚操作:
- 负载均衡把流量切回旧版本。
- 保留新版本进程和模型文件,用于排查,不要立即删除。
- 旧版本备份至少保留7天。
- 记录触发时间、指标截图和处理人。
回滚前不要修改模型文件或配置。直接覆盖旧版本会让问题无法复现。
七、常见故障排查
| 现象 | 可能原因 | 排查方法 |
|---|---|---|
| 启动时OOM | 上下文长度或显存上限设置过高,或有其他进程占用显存 | 调低 gpu-memory-utilization 或 max-model-len,用 nvidia-smi 查看进程列表 |
| 运行中OOM | max-num-seqs 超过容量表计算值 | 调低并发,按峰值上下文重新计算 |
| 多卡启动报NCCL错误 | 驱动或CUDA版本不一致,或互联异常 | 用 nvidia-smi topo -m 检查拓扑,比对各卡驱动版本 |
| 首token延迟高 | 请求排队,或长提示词的预填充耗时长 | 检查并发和请求长度分布,必要时降低 max-num-seqs |
| 量化后输出质量下降 | 校准数据与业务分布不符,或聊天模板不一致 | 核对调用方使用的聊天模板,与BF16结果对比评测 |
| 实际可用显存比预期少 | ECC或MIG已开启,或残留进程占用显存 | 用 nvidia-smi 检查ECC模式、MIG状态和进程列表 |
| 服务能启动但返回乱码或空内容 | 分词器或模型文件与配置不匹配 | 核对 tokenizer 文件与模型目录是否来自同一版本 |
排查时应先保留现场日志,再修改参数。每次只改动一个参数,并记录结果。
八、上线检查清单
- 已用config.json替换文中的假设参数,并重新计算容量。
- 驱动、CUDA、vLLM版本已固定并记录。
- 容量表按峰值上下文和并发数计算,并保留余量。
- 量化验收的质量、性能和稳定性指标全部达标。
- 灰度步骤和回滚触发条件已写入发布记录,值班人员已确认。
- 旧版本备份完成,哈希值已记录。

登录后可评论,请前往 登录 或 注册