35B模型私有化部署:显存估算到上线运维
作者:有好多问题2026.11.18 11:44浏览量:0简介:本文按步骤讲解35B级模型的私有化部署:先估算权重和KV缓存的显存占用,再选择推理引擎,并给出可修改后直接运行的vLLM启动命令。文章还包括32K与百万级上下文的验证方法、OOM的排查顺序,以及健康检查、回滚和扩缩容的判断指标,读者可据此完成从规划到上线的全部工作。
一、部署前先确定三个参数
动手前要先定下三件事:模型以什么精度加载,业务需要的最长上下文是多少,目标并发是多少。这三个数字决定显存够不够、选哪个推理引擎,以及服务要拆成几个实例。
一般业务可以按下面的起步值设置,再用压测结果调整:
- 精度:显存够用时优先BF16,数值风险最小。显存紧张时先试FP8,多数任务上质量损失较小,但要用自己的测试集确认。INT4适合单卡或成本敏感的场景,质量下降需要单独评估。
- 上下文:按真实请求长度的第95百分位设置,再留出一些余量。不要直接设成模型的最大值,否则每个请求都按最坏情况占用显存。
- 并发:用峰值每秒请求数乘以平均处理时间,估算同时在处理的请求数。例如每秒2个请求、平均每个请求耗时5秒,同时在处理的请求约为10个。
本文的目标是把模型部署为可对外提供推理的在线接口,并达到以下状态:服务可访问、响应稳定、资源可控,出现问题时可以回滚。
二、显存怎么算
本文所有显存数字统一用GiB(2的30次方字节)。nvidia-smi显示的显存也是这个口径。
推理时显存主要由三部分构成:模型权重、KV缓存和运行时开销。运行时开销包括CUDA上下文、激活值和框架内部缓冲区,每张卡通常预留5到10 GiB。
权重占用 = 参数量 × 每参数字节数。以35B参数为例:
- BF16或FP16:每参数2字节,约65 GiB。
- FP8:每参数1字节,约33 GiB。
- INT4(AWQ、GPTQ等格式):每参数约0.5字节,约16到18 GiB。量化缩放参数会让实际占用略高。
KV缓存随上下文长度线性增长,计算公式如下:
每个token的KV字节数 = 2 × 层数 × KV头数 × 每头维度 × 每元素字节数
单个请求的KV缓存 = 每个token的KV字节数 × 上下文长度
公式中的2代表K和V两份缓存。下面用一组演示参数说明计算过程:模型有64层、8个KV头、每头维度128,KV缓存用FP16保存。此时每个token占用 2 × 64 × 8 × 128 × 2 = 262,144 字节,即256 KiB。
- 32K上下文(32768个token):约8 GiB。
- 100万上下文(2的20次方,即1048576个token):约256 GiB。
- KV缓存改用FP8保存,以上数字减半,分别为4 GiB和128 GiB。
演示参数只用于说明计算,实际部署要以模型目录中config.json的数值为准,对应字段通常是num_hidden_layers、num_key_value_heads和head_dim。分组查询注意力(GQA)和多查询注意力(MQA)已经反映在KV头数里,直接读取config.json即可。滑动窗口注意力只缓存窗口内的KV,实际占用会低于估算,具体要看模型的实现。
由此可见,百万级上下文不能和短上下文共用一个实例。权重和KV缓存都用FP16时,一个百万级请求需要256 GiB的KV缓存加上65 GiB权重,合计超过321 GiB,超过了4张48 GiB卡的总显存(192 GiB)。
下表是三种常见方案的参考配置。最终数字仍要以实测为准。
| 方案 | 权重精度 | 上下文与并发 | 说明 |
|---|---|---|---|
| 单卡80 GiB | FP8或INT4 | 32K以内,并发按4到6起步 | FP8权重约33 GiB,扣除运行时开销后,KV缓存可用约37到42 GiB,32K的FP8 KV缓存约4 GiB。BF16权重约65 GiB,剩余空间只有5到10 GiB,放不下32K的FP16 KV缓存,不适合 |
| 4卡48 GiB,张量并行4 | BF16或FP8 | 32K,并发4到8 | BF16权重每卡分到约16 GiB。4卡共192 GiB,扣除权重和运行时开销后,KV缓存可用约90到105 GiB,足以支撑4到8个并发请求 |
| 百万级长上下文专用实例 | 权重FP8,KV缓存FP8 | 1M,并发1 | 单请求KV缓存约128 GiB,加上约33 GiB权重,至少需要4卡80 GiB。使用前要确认模型支持该长度 |
三、推理引擎选型
推理引擎负责加载权重、管理KV缓存、调度批处理。选型时主要比较四个维度:长上下文的显存管理能力、前缀缓存、吞吐与延迟,以及运维复杂度。
| 引擎 | 主要优势 | 需要注意 | 适合场景 |
|---|---|---|---|
| vLLM | 用分页方式管理KV缓存,支持前缀缓存和连续批处理,提供OpenAI兼容接口,社区活跃 | 对新模型的支持依赖版本,升级前要核对发布说明 | 多数团队的起步方案 |
| SGLang | 前缀复用机制对多轮对话和结构化调用较友好 | 参数和接口变化较快,需要锁定版本 | 多轮对话、Agent和结构化输出占比高的业务 |
| TensorRT-LLM | 在NVIDIA硬件上的延迟和吞吐优化较深 | 需要针对模型和参数编译引擎,构建和升级成本高 | 模型固定、追求极致性能、有专人维护 |
| TGI | 与Hugging Face生态集成顺畅,部署步骤少 | 长上下文高并发场景的表现需要实测对比 | 小规模试点,或已深度使用HF生态的团队 |
选型建议如下:
- 没有特殊约束时选择vLLM,本文后续示例也以它为准。
- 业务以多轮对话或固定格式的结构化输出为主时,可以用SGLang做对比测试。
- 模型和硬件都稳定,且有专人负责编译和升级,再评估TensorRT-LLM。
- 无论选哪个引擎,都要在同一套测试集上比较以下指标:首token延迟、吞吐、显存峰值、前缀缓存命中率。每个引擎都锁定具体版本号,升级前在测试环境重跑一遍。
四、环境准备
驱动与运行时:GPU驱动、CUDA版本和容器镜像需要互相匹配。驱动版本不能低于镜像所需CUDA版本的最低要求。版本不匹配时,常见报错是“CUDA driver version is insufficient for CUDA runtime version”。另外,如果镜像不支持当前GPU的架构,会出现“no kernel image is available for execution on the device”。开发、测试、生产三套环境使用同一个镜像版本号,不要使用latest标签。
模型文件:从官方仓库下载权重、分词器和config.json,并使用发布方提供的SHA256清单逐个校验。模型统一放在 /data/models/main 下,推理容器以只读方式挂载。
cd /data/models/mainsha256sum -c SHA256SUMS
所有文件都显示OK后,再进入下一步。校验失败的文件要重新下载,不要手动修改。
- 运行用户与密钥:推理服务使用非root用户运行,只监听内网地址,对外访问通过网关转发。API Key 生成后保存在密钥管理服务中,启动时以环境变量 VLLM_API_KEY 注入,不写进脚本、代码或镜像。
export VLLM_API_KEY="$(cat /run/secrets/vllm_api_key)"
- GPU可见性:启动前运行 nvidia-smi,确认每张卡都能被识别,且没有其他进程占用显存。
五、vLLM启动命令
下面的命令适用于4卡48 GiB、32K上下文的通用实例。以下参数名以所用版本的 vllm serve --help 输出为准,升级时要重新核对。
export CUDA_VISIBLE_DEVICES=0,1,2,3vllm serve /data/models/main \--served-model-name main \--host 0.0.0.0 \--port 8000 \--tensor-parallel-size 4 \--max-model-len 32768 \--gpu-memory-utilization 0.90 \--max-num-seqs 8 \--enable-prefix-caching \--api-key "$VLLM_API_KEY"
各参数的含义和修改方式如下:
--tensor-parallel-size:参与推理的卡数。必须与 CUDA_VISIBLE_DEVICES 中的卡数一致,并且能整除模型的注意力头数。--max-model-len:单个请求输入加输出的最大token数。超过该长度的请求会被拒绝。--gpu-memory-utilization:每张卡上vLLM可使用的显存比例。调高会留出更多KV缓存空间,但运行时余量变小,启动或峰值时更容易OOM。建议从0.90起步。--max-num-seqs:同时调度的最大请求数,直接决定KV缓存的最大并发占用。--enable-prefix-caching:复用相同前缀的KV缓存,适合系统提示固定的场景。--api-key:客户端请求需要在请求头中携带Authorization: Bearer <密钥>。
百万级长上下文实例要单独部署,并使用不同端口。下面是一个示例,运行前要确认config.json中的最大位置编码长度不小于目标值:
export CUDA_VISIBLE_DEVICES=0,1,2,3vllm serve /data/models/long \--served-model-name long \--host 0.0.0.0 \--port 8001 \--tensor-parallel-size 4 \--max-model-len 1048576 \--kv-cache-dtype fp8 \--gpu-memory-utilization 0.90 \--max-num-seqs 1 \--api-key "$VLLM_API_KEY"
这里的 --kv-cache-dtype fp8 会降低KV缓存占用,但可能影响输出质量。启用前要在长文本测试集上做质量回归。
六、长上下文验证与OOM排查
上线前按下面的顺序验证。
读取容量信息:服务启动日志中会出现 “GPU KV cache size” 和 “Maximum concurrency” 两行。前者是KV缓存能容纳的token总数,后者是按单请求长度估算的并发上限。把这两个数字和本文的估算对比,差距明显时先排查配置。
连通性检查:
```bash
curl -s http://127.0.0.1:8000/v1/models \
-H “Authorization: Bearer $VLL

登录后可评论,请前往 登录 或 注册