35B中量级模型私有化部署:从显存到回滚
作者:新兰2026.11.18 11:47浏览量:0简介:本文面向平台与运维工程师,给出35B级模型私有化部署的完整路径:先用公式估算显存和GPU数量,再配置vLLM启动参数,依据TTFT、P95延迟等指标设定验收阈值,最后通过灰度切流和明确的回滚触发条件,保证出问题时能快速切回旧版本。
一、选型:自建还是托管
决定部署方式前,先看四个维度。自建要承担GPU驱动、显存管理和故障处理,只有调用量稳定、数据不能出域且团队有GPU运维经验时才划算。
| 判断维度 | 倾向自建 | 倾向托管 |
|---|---|---|
| 调用量 | 稳定且较大,能摊薄成本 | 很低或波动剧烈 |
| 数据敏感度 | 数据不能离开内网或指定区域 | 可以出域 |
| GPU运维能力 | 有人能处理驱动、显存和故障 | 缺少相关经验 |
| 时效要求 | 有容量冗余,能承受短暂抖动 | 要求极高且无冗余 |
调用模式不稳定时,先用托管服务。等调用规律清楚后再迁移。托管服务要核对数据出域条款、SLA和计费方式。自建要把采购、机房、值班和模型升级的长期投入算进成本。
二、显存规划
显存是部署的第一约束。估算分三步:权重、KV缓存和运行时开销。
权重显存 ≈ 参数量 × 每个参数占用的字节数
按35B参数计算:
- BF16或FP16:每参数2字节,约70GB(十进制)
- INT8:每参数1字节,约35GB
- INT4:每参数0.5字节,约17.5GB
量化后的实际占用还要加上量化缩放参数等开销,因此以上数值是下限估计。
KV缓存显存 ≈ 2 × 层数 × KV头数 × head_dim × 序列长度 × batch × 每个元素字节数
系数2对应K和V两份缓存。采用GQA或MQA的模型,KV头数远少于注意力头数,缓存会小很多。层数、KV头数和head_dim以模型配置文件为准。KV缓存随序列长度和batch线性增长,这是长上下文和高并发时最容易超出预期的部分。
总显存 ≈ (权重显存 + KV缓存显存) × (1 + 10%至20%)
运行时开销包括CUDA上下文、算子临时缓冲和通信缓冲,建议预留10%至20%。
GPU数量估算示例(假设值,需替换为实际卡型和模型配置):单卡80GB,gpu-memory-utilization设为0.90,单卡可用约72GB。BF16权重约70GB,张量并行TP=2后每卡约35GB,剩余约37GB用于KV缓存和运行时开销。若按目标并发和上下文计算的KV缓存超过这一数值,就需要增加卡数,或降低并发与最大上下文长度。
估算时必须注明边界条件:并发数、输入输出长度、模型结构(GQA/MQA)、卡型显存和量化方式。改动任一项,结果都要重算。
常见问题:
- max-model-len设得过大,KV缓存装不下一条最长序列,启动阶段直接报错。应按业务真实最长输入设置。
- 量化权重与dtype或quantization参数不匹配,加载失败或结果异常。两者要与模型发布说明一致。
- 多卡切分后单卡仍然OOM。先确认TP参数已生效,再检查batch和上下文是否超出预算。
三、推理服务启动参数
以vLLM为例。先固定框架版本,并在部署清单中记录驱动、CUDA和vLLM的版本号。版本需与模型发布说明一致。
示例命令(路径和名称为占位符):
export VLLM_API_KEY="<从密钥管理服务注入>"vllm serve /models/<model-dir> \--served-model-name <service-name> \--dtype bfloat16 \--tensor-parallel-size 2 \--max-model-len 32768 \--gpu-memory-utilization 0.90 \--host 0.0.0.0 \--port 8000
参数说明:
- —dtype:与权重精度一致。
- —tensor-parallel-size:张量并行卡数,需与可见GPU数量匹配。
- —max-model-len:单条请求的最大上下文长度。32768只是示例,

登录后可评论,请前往 登录 或 注册