logo

35B模型私有化部署:显存估算到上线运维

作者:有好多问题2026.11.18 11:44浏览量:0

简介:本文按步骤讲解35B级模型的私有化部署:先估算权重和KV缓存的显存占用,再选择推理引擎,并给出可修改后直接运行的vLLM启动命令。文章还包括32K与百万级上下文的验证方法、OOM的排查顺序,以及健康检查、回滚和扩缩容的判断指标,读者可据此完成从规划到上线的全部工作。

一、部署前先确定三个参数

动手前要先定下三件事:模型以什么精度加载,业务需要的最长上下文是多少,目标并发是多少。这三个数字决定显存够不够、选哪个推理引擎,以及服务要拆成几个实例。

一般业务可以按下面的起步值设置,再用压测结果调整:

  • 精度:显存够用时优先BF16,数值风险最小。显存紧张时先试FP8,多数任务上质量损失较小,但要用自己的测试集确认。INT4适合单卡或成本敏感的场景,质量下降需要单独评估。
  • 上下文:按真实请求长度的第95百分位设置,再留出一些余量。不要直接设成模型的最大值,否则每个请求都按最坏情况占用显存。
  • 并发:用峰值每秒请求数乘以平均处理时间,估算同时在处理的请求数。例如每秒2个请求、平均每个请求耗时5秒,同时在处理的请求约为10个。

本文的目标是把模型部署为可对外提供推理的在线接口,并达到以下状态:服务可访问、响应稳定、资源可控,出现问题时可以回滚。

二、显存怎么算

本文所有显存数字统一用GiB(2的30次方字节)。nvidia-smi显示的显存也是这个口径。

推理时显存主要由三部分构成:模型权重、KV缓存和运行时开销。运行时开销包括CUDA上下文、激活值和框架内部缓冲区,每张卡通常预留5到10 GiB。

权重占用 = 参数量 × 每参数字节数。以35B参数为例:

  • BF16或FP16:每参数2字节,约65 GiB。
  • FP8:每参数1字节,约33 GiB。
  • INT4(AWQ、GPTQ等格式):每参数约0.5字节,约16到18 GiB。量化缩放参数会让实际占用略高。

KV缓存随上下文长度线性增长,计算公式如下:

每个token的KV字节数 = 2 × 层数 × KV头数 × 每头维度 × 每元素字节数

单个请求的KV缓存 = 每个token的KV字节数 × 上下文长度

公式中的2代表K和V两份缓存。下面用一组演示参数说明计算过程:模型有64层、8个KV头、每头维度128,KV缓存用FP16保存。此时每个token占用 2 × 64 × 8 × 128 × 2 = 262,144 字节,即256 KiB。

  • 32K上下文(32768个token):约8 GiB。
  • 100万上下文(2的20次方,即1048576个token):约256 GiB。
  • KV缓存改用FP8保存,以上数字减半,分别为4 GiB和128 GiB。

演示参数只用于说明计算,实际部署要以模型目录中config.json的数值为准,对应字段通常是num_hidden_layers、num_key_value_heads和head_dim。分组查询注意力(GQA)和多查询注意力(MQA)已经反映在KV头数里,直接读取config.json即可。滑动窗口注意力只缓存窗口内的KV,实际占用会低于估算,具体要看模型的实现。

由此可见,百万级上下文不能和短上下文共用一个实例。权重和KV缓存都用FP16时,一个百万级请求需要256 GiB的KV缓存加上65 GiB权重,合计超过321 GiB,超过了4张48 GiB卡的总显存(192 GiB)。

下表是三种常见方案的参考配置。最终数字仍要以实测为准。

方案 权重精度 上下文与并发 说明
单卡80 GiB FP8或INT4 32K以内,并发按4到6起步 FP8权重约33 GiB,扣除运行时开销后,KV缓存可用约37到42 GiB,32K的FP8 KV缓存约4 GiB。BF16权重约65 GiB,剩余空间只有5到10 GiB,放不下32K的FP16 KV缓存,不适合
4卡48 GiB,张量并行4 BF16或FP8 32K,并发4到8 BF16权重每卡分到约16 GiB。4卡共192 GiB,扣除权重和运行时开销后,KV缓存可用约90到105 GiB,足以支撑4到8个并发请求
百万级长上下文专用实例 权重FP8,KV缓存FP8 1M,并发1 单请求KV缓存约128 GiB,加上约33 GiB权重,至少需要4卡80 GiB。使用前要确认模型支持该长度

三、推理引擎选型

推理引擎负责加载权重、管理KV缓存、调度批处理。选型时主要比较四个维度:长上下文的显存管理能力、前缀缓存、吞吐与延迟,以及运维复杂度。

引擎 主要优势 需要注意 适合场景
vLLM 用分页方式管理KV缓存,支持前缀缓存和连续批处理,提供OpenAI兼容接口,社区活跃 对新模型的支持依赖版本,升级前要核对发布说明 多数团队的起步方案
SGLang 前缀复用机制对多轮对话和结构化调用较友好 参数和接口变化较快,需要锁定版本 多轮对话、Agent和结构化输出占比高的业务
TensorRT-LLM 在NVIDIA硬件上的延迟和吞吐优化较深 需要针对模型和参数编译引擎,构建和升级成本高 模型固定、追求极致性能、有专人维护
TGI 与Hugging Face生态集成顺畅,部署步骤少 长上下文高并发场景的表现需要实测对比 小规模试点,或已深度使用HF生态的团队

选型建议如下:

  1. 没有特殊约束时选择vLLM,本文后续示例也以它为准。
  2. 业务以多轮对话或固定格式的结构化输出为主时,可以用SGLang做对比测试。
  3. 模型和硬件都稳定,且有专人负责编译和升级,再评估TensorRT-LLM。
  4. 无论选哪个引擎,都要在同一套测试集上比较以下指标:首token延迟、吞吐、显存峰值、前缀缓存命中率。每个引擎都锁定具体版本号,升级前在测试环境重跑一遍。

四、环境准备

  1. 驱动与运行时:GPU驱动、CUDA版本和容器镜像需要互相匹配。驱动版本不能低于镜像所需CUDA版本的最低要求。版本不匹配时,常见报错是“CUDA driver version is insufficient for CUDA runtime version”。另外,如果镜像不支持当前GPU的架构,会出现“no kernel image is available for execution on the device”。开发、测试、生产三套环境使用同一个镜像版本号,不要使用latest标签。

  2. 模型文件:从官方仓库下载权重、分词器和config.json,并使用发布方提供的SHA256清单逐个校验。模型统一放在 /data/models/main 下,推理容器以只读方式挂载。

  1. cd /data/models/main
  2. sha256sum -c SHA256SUMS

所有文件都显示OK后,再进入下一步。校验失败的文件要重新下载,不要手动修改。

  1. 运行用户与密钥:推理服务使用非root用户运行,只监听内网地址,对外访问通过网关转发。API Key 生成后保存在密钥管理服务中,启动时以环境变量 VLLM_API_KEY 注入,不写进脚本、代码或镜像。
  1. export VLLM_API_KEY="$(cat /run/secrets/vllm_api_key)"
  1. GPU可见性:启动前运行 nvidia-smi,确认每张卡都能被识别,且没有其他进程占用显存。

五、vLLM启动命令

下面的命令适用于4卡48 GiB、32K上下文的通用实例。以下参数名以所用版本的 vllm serve --help 输出为准,升级时要重新核对。

  1. export CUDA_VISIBLE_DEVICES=0,1,2,3
  2. vllm serve /data/models/main \
  3. --served-model-name main \
  4. --host 0.0.0.0 \
  5. --port 8000 \
  6. --tensor-parallel-size 4 \
  7. --max-model-len 32768 \
  8. --gpu-memory-utilization 0.90 \
  9. --max-num-seqs 8 \
  10. --enable-prefix-caching \
  11. --api-key "$VLLM_API_KEY"

各参数的含义和修改方式如下:

  • --tensor-parallel-size:参与推理的卡数。必须与 CUDA_VISIBLE_DEVICES 中的卡数一致,并且能整除模型的注意力头数。
  • --max-model-len:单个请求输入加输出的最大token数。超过该长度的请求会被拒绝。
  • --gpu-memory-utilization:每张卡上vLLM可使用的显存比例。调高会留出更多KV缓存空间,但运行时余量变小,启动或峰值时更容易OOM。建议从0.90起步。
  • --max-num-seqs:同时调度的最大请求数,直接决定KV缓存的最大并发占用。
  • --enable-prefix-caching:复用相同前缀的KV缓存,适合系统提示固定的场景。
  • --api-key:客户端请求需要在请求头中携带 Authorization: Bearer <密钥>。

百万级长上下文实例要单独部署,并使用不同端口。下面是一个示例,运行前要确认config.json中的最大位置编码长度不小于目标值:

  1. export CUDA_VISIBLE_DEVICES=0,1,2,3
  2. vllm serve /data/models/long \
  3. --served-model-name long \
  4. --host 0.0.0.0 \
  5. --port 8001 \
  6. --tensor-parallel-size 4 \
  7. --max-model-len 1048576 \
  8. --kv-cache-dtype fp8 \
  9. --gpu-memory-utilization 0.90 \
  10. --max-num-seqs 1 \
  11. --api-key "$VLLM_API_KEY"

这里的 --kv-cache-dtype fp8 会降低KV缓存占用,但可能影响输出质量。启用前要在长文本测试集上做质量回归。

六、长上下文验证与OOM排查

上线前按下面的顺序验证。

  1. 读取容量信息:服务启动日志中会出现 “GPU KV cache size” 和 “Maximum concurrency” 两行。前者是KV缓存能容纳的token总数,后者是按单请求长度估算的并发上限。把这两个数字和本文的估算对比,差距明显时先排查配置。

  2. 连通性检查:

```bash
curl -s http://127.0.0.1:8000/v1/models \
-H “Authorization: Bearer $VLL

发表评论

活动