logo

35B中量级模型私有化部署:从显存到回滚

作者:新兰2026.11.18 11:47浏览量:0

简介:本文面向平台与运维工程师,给出35B级模型私有化部署的完整路径:先用公式估算显存和GPU数量,再配置vLLM启动参数,依据TTFT、P95延迟等指标设定验收阈值,最后通过灰度切流和明确的回滚触发条件,保证出问题时能快速切回旧版本。

一、选型:自建还是托管

决定部署方式前,先看四个维度。自建要承担GPU驱动、显存管理和故障处理,只有调用量稳定、数据不能出域且团队有GPU运维经验时才划算。

判断维度 倾向自建 倾向托管
调用量 稳定且较大,能摊薄成本 很低或波动剧烈
数据敏感度 数据不能离开内网或指定区域 可以出域
GPU运维能力 有人能处理驱动、显存和故障 缺少相关经验
时效要求 有容量冗余,能承受短暂抖动 要求极高且无冗余

调用模式不稳定时,先用托管服务。等调用规律清楚后再迁移。托管服务要核对数据出域条款、SLA和计费方式。自建要把采购、机房、值班和模型升级的长期投入算进成本。

二、显存规划

显存是部署的第一约束。估算分三步:权重、KV缓存和运行时开销。

权重显存 ≈ 参数量 × 每个参数占用的字节数

按35B参数计算:

  • BF16或FP16:每参数2字节,约70GB(十进制)
  • INT8:每参数1字节,约35GB
  • INT4:每参数0.5字节,约17.5GB

量化后的实际占用还要加上量化缩放参数等开销,因此以上数值是下限估计。

KV缓存显存 ≈ 2 × 层数 × KV头数 × head_dim × 序列长度 × batch × 每个元素字节数

系数2对应K和V两份缓存。采用GQA或MQA的模型,KV头数远少于注意力头数,缓存会小很多。层数、KV头数和head_dim以模型配置文件为准。KV缓存随序列长度和batch线性增长,这是长上下文和高并发时最容易超出预期的部分。

总显存 ≈ (权重显存 + KV缓存显存) × (1 + 10%至20%)

运行时开销包括CUDA上下文、算子临时缓冲和通信缓冲,建议预留10%至20%。

GPU数量估算示例(假设值,需替换为实际卡型和模型配置):单卡80GB,gpu-memory-utilization设为0.90,单卡可用约72GB。BF16权重约70GB,张量并行TP=2后每卡约35GB,剩余约37GB用于KV缓存和运行时开销。若按目标并发和上下文计算的KV缓存超过这一数值,就需要增加卡数,或降低并发与最大上下文长度。

估算时必须注明边界条件:并发数、输入输出长度、模型结构(GQA/MQA)、卡型显存和量化方式。改动任一项,结果都要重算。

常见问题:

  • max-model-len设得过大,KV缓存装不下一条最长序列,启动阶段直接报错。应按业务真实最长输入设置。
  • 量化权重与dtype或quantization参数不匹配,加载失败或结果异常。两者要与模型发布说明一致。
  • 多卡切分后单卡仍然OOM。先确认TP参数已生效,再检查batch和上下文是否超出预算。

三、推理服务启动参数

以vLLM为例。先固定框架版本,并在部署清单中记录驱动、CUDA和vLLM的版本号。版本需与模型发布说明一致。

示例命令(路径和名称为占位符):

  1. export VLLM_API_KEY="<从密钥管理服务注入>"
  2. vllm serve /models/<model-dir> \
  3. --served-model-name <service-name> \
  4. --dtype bfloat16 \
  5. --tensor-parallel-size 2 \
  6. --max-model-len 32768 \
  7. --gpu-memory-utilization 0.90 \
  8. --host 0.0.0.0 \
  9. --port 8000

参数说明:

  • —dtype:与权重精度一致。
  • —tensor-parallel-size:张量并行卡数,需与可见GPU数量匹配。
  • —max-model-len:单条请求的最大上下文长度。32768只是示例,

发表评论

活动