7B与32B大模型云端部署指南:显存到上线
作者:菠萝爱吃肉2026.11.18 12:16浏览量:0简介:面向架构师与运维人员,梳理7B与32B模型的分池选型、显存与KV Cache估算、vLLM启动、网关分流、压测上线和故障排查。读者可按步骤复现部署,并依据自有压测数据确定并发上限。
一、适用范围与分池原则
同一模型家族通常提供7B和32B两种规格,并有Base、Instruct、Think等形态。不同形态在上下文长度、计算量和响应延迟上差异明显。如果把所有形态放进同一个服务池,低延迟问答和长推理会争抢显存与并发槽位,两类请求都难以稳定。
本文采用按规格和形态分池部署,由网关按请求类型路由:
- 7B Instruct池:面向常规问答,目标是低延迟和较高并发。
- 32B Think池:面向长推理,单请求占用的KV Cache多,并发上限应明显低于7B池。
本文假设读者熟悉Linux、Docker和HTTP接口。示例使用vLLM作为推理框架。参数名随版本变化,升级前请执行 vllm serve --help 核对参数。
二、显存与KV Cache估算
1. 估算公式
模型显存由两部分组成:
- 权重:参数量乘以每参数字节数。BF16为2字节,FP8和INT8为1字节,INT4约为0.5字节。
- KV Cache:随并发序列数和序列长度增长。长思维链输出会明显放大这部分占用。
单个token的KV Cache字节数可按下式估算:
每token KV字节数 = 2 × 层数 × KV头数 × 每头维度 × 每元素字节数
层数、KV头数和每头维度可从模型目录的 config.json 读取。注意使用的是KV头数(num_key_value_heads),它可能小于注意力头数。
2. 计算示例
以下数值为假设值:模型为64层、8个KV头、每头维度128,KV Cache以BF16存储。实际数值以 config.json 为准。
- 每token:2 × 64 × 8 × 128 × 2 = 262144 字节,即256 KiB。
- 单序列跑满8192 token:8192 × 256 KiB = 2 GiB。
- 张量并行TP=2时,KV头按卡切分,每卡约1 GiB。
- 8个并发序列都跑满8192 token:总计16 GiB,每卡约8 GiB。
这些结果只是算术估计,不代表吞吐或延迟。
3. 参考配置
| 模型规格 | 精度 | 权重估算 | 推荐卡配置 | 说明 |
|---|---|---|---|---|
| 7B 基座 / Instruct | BF16 | 约14GB | 单卡24GB及以上 | 承载常规并发 |
| 7B 量化版 | INT8 / INT4 | 约7GB / 约4GB | 单卡16GB | 仅适合短上下文和低并发,不适合长文本高并发 |
| 32B Think | BF16 | 约64GB | 2卡48GB或2卡80GB | 张量并行TP=2,KV Cache余量有限 |
| 32B 量化版 | FP8 / INT8 | 约32GB | 单卡80GB或双卡48GB | 兼顾吞吐与长文本 |
表中数值只包含权重,不含KV Cache和框架开销,只作选型起点。
以2卡80GB部署32B Think BF16为例,假设 gpu-memory-utilization 为0.90,每卡可用约72GB,每卡权重约32GB,并假设预留6GB给激活值和框架开销。剩余约34GB可用于KV Cache,理论上可容纳约34个跑满8192 token的序列。这是上限估算,实际值以启动日志为准。若换成2卡48GB,每卡剩余空间很小,需要降低 max-model-len、换用量化版本或增加卡数。
Think分支的输出较长,中间上下文增长快。选型时应按“最长输入加最长输出”计算KV Cache需求,并预留余量。建议从20%左右的余量起步,再根据压测结果调整。
三、环境准备
1. 计算实例与内存
选择支持多卡高速互联的主流GPU实例。系统内存建议不低于显存总量的1.5倍。这是经验值,适用于模型加载和请求预处理负载较重的场景,最终应以实际加载峰值和压测结果为准。
2. 驱动与容器运行时
安装与GPU型号匹配的NVIDIA驱动,并安装 nvidia-container-toolkit,使容器可以访问GPU。vLLM、CUDA和PyTorch的版本需要相互匹配,对应关系参考vLLM官方发布说明。
3. 网络与安全组
- 安全组只向API网关所在子网开放推理端口8000。
- 管理端口不暴露公网。
- 多节点并行部署时,节点放在同一VPC的同一高速子网内。
- 网关到推理服务之间走内网,并启用鉴权或mTLS。
- API密钥由密钥管理服务注入环境变量,不写入代码、镜像或代码仓库。
4. 权重存放
将权重放在共享存储的固定目录,例如 /data/models/model-7b-instruct 和 /data/models/model-32b-think。推理容器以只读方式挂载该目录,避免服务进程修改权重文件。
四、部署步骤
步骤1:校验GPU状态
nvidia-smi --query-gpu=index,name,temperature.gpu,memory.used,memory.total,utilization.gpu --format=csvnvidia-smi topo -m
第一条命令确认所有目标GPU均可见、温度正常,启动前显存占用接近零。第二条命令查看GPU之间的连接方式。NV开头的标记表示NVLink直连,PHB或PIX等表示经过PCIe。TP=2的两张卡应优先选择NVLink直连的组合。
检查容器内的GPU可见性:
docker run --rm --gpus all nvidia/cuda:<与驱动兼容的标签> nvidia-smi
其他厂商的加速卡请使用对应的管理工具。
步骤2:启动vLLM服务
export MODEL_PATH=/data/models/model-32b-thinkexport SERVE_PORT=8000export VLLM_API_KEY="$(cat /run/secrets/vllm_api_key)"vllm serve "${MODEL_PATH}" \--served-model-name model-32b-think \--tensor-parallel-size 2 \--max-model-len 8192 \--max-num-seqs 16 \--gpu-memory-utilization 0.90 \--host 0.0.0.0 \--port "${SERVE_PORT}"
参数说明:
--served-model-name:网关路由时使用的模型名,需与网关配置一致。--tensor-parallel-size:张量并行卡数,需与可见GPU数量匹配。--max-model-len:单请求的最大上下文长度(输入加输出),决定KV Cache的单序列上限。--max-num-seqs:同时调度的最大序列数,用于限制并发。--gpu-memory-utilization:vLLM可占用的显存比例。过高容易在峰值时OOM,过低会浪费显存。
启动完成后,在日志中查找 GPU KV cache size 和 Maximum concurrency 两行,以它们为准,替代前面的估算值。
验证服务状态:
curl -s http://127.0.0.1:8000/healthcurl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer ${VLLM_API_KEY}"curl -s http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer ${VLLM_API_KEY}" \-d '{"model":"model-32b-think","messages":[{"role":"user","content":"你好"}],"max_tokens":64}'
步骤3:容器化与自动重启
使用固定版本的镜像,并把参数和密钥放在权限为600的环境文件中:
docker run -d --name vllm-32b-think \--gpus all --ipc=host \--restart unless-stopped \--env-file /etc/vllm/32b-think.env \-v /data/models/model-32b-think:/models/model-32b-think:ro \-p 8000:8000 \--health-cmd "curl -fs http://localhost:8000/health || exit 1" \--health-interval 30s \vllm/vllm-openai:<固定版本号> \--model /models/model-32b-think \--served-model-name model-32b-think \--tensor-parallel-size 2 \--max-model-len 8192 \--max-num-seqs 16 \--gpu-memory-utilization 0.90
--ipc=host 用于多卡张量并行时的进程间通信。镜像的入口参数随版本变化,请以所用镜像的文档为准。若不使用Docker,可用systemd管理服务,并设置 Restart=always。
步骤4:网关按任务分流
网关负责统一入口、鉴权、路由和限流。建议遵循以下规则:
| 请求特征 | 目标池 | 模型名 | 超时起点 | 并发上限 |
|---|---|---|---|---|
| 常规问答 | 7B Instruct池 | qa-7b | 按业务SLO设定 | 按7B压测结果设定 |
| 长推理任务 | 32B Think池 | model-32b-think | 明显长于7B池 | 按32B压测结果设定 |
规则说明:
- 路由键:使用请求体中的 model 字段,或业务侧传入的任务类型标签。
- 分池配置:两个池的上游地址、连接数和并发上限分别配置,互不共用。
- 超时:32B Think池的超时远大于7B池,两者不能共用一个值。下表中的超时仅为调参起点。
- 重试:只对连接失败或上游尚未返回任何字节的情况重试一次。已开始流式输出的请求不重试,避免重复生成。
- 鉴权:网关校验调用方凭证,并以内部凭证访问上游。上游密钥只存在于网关侧的密钥服务中。
- 限流与熔断:按调用方设置QPS和并发配额,超出时返回429。某个池的错误率超过阈值时,暂停转发并返回明确的错误信息。
五、压测与上线
1. 指标口径
| 指标 | 定义 | 采集方式 |
|---|---|---|
| TTFT | 发出请求到收到第一个token的时间 | 压测客户端记录 |
| TPOT | 每个输出token的平均生成时间 | 总耗时减首token时间,除以输出token数 |
| P95端到端延迟 | 95%请求的完整响应时间 | 压测客户端记录 |
| 输出吞吐 | 总输出token数除以压测时长,单位tokens/s | 压测客户端统计 |
| 错误率 | 非2xx响应或超时的请求占比 | 网关日志统计 |
| 显存峰值 | 压测期间每卡显存最大占用 | nvidia-smi周期采样 |
| KV Cache使用率、排队请求数 | 缓存占用和等待调度的请求数量 | vLLM的 /metrics 端点,指标名随版本变化 |
2. 压测方法
- 请求样本:从真实流量中抽样输入长度,并混合短输出和长输出两类请求。
- 并发阶梯:按1、2、4、8、16……逐级加压。每级稳定运行至少5分钟,并丢弃预热阶段的数据。
- 通过点:找到P95延迟超过业务SLO或错误率超过阈值的前一级,作为该级的通过点。
- 上线并发上限:取通过点的约80%作为初始值。这是保守做法,实际值应结合业务峰值调整。
压测工具可使用vLLM仓库自带的benchmark脚本,或通用的压测工具。具体参数以所用版本为准。
3. 通过标准模板
以下阈值为模板,需替换为业务实际SLO:
- 错误率低于1%。
- P95端到端延迟不超过业务SLO。
- 显存峰值低于每卡显存,并保留可配置的余量。
- 排队请求数在稳态下没有持续增长。
4. 灰度与回滚
- 先将约10%流量导入新服务,观察至少30分钟,再逐步扩大比例。
- 回滚时,在网关中将流量切回旧路由。旧容器和旧模型目录在新服务稳定前不要删除。
- 每次变更前,演练一次回滚流程。
六、故障排查清单
启动时报CUDA out of memory
定位:docker logs vllm-32b-think | grep -i memory
处理:降低--max-model-len或--gpu-memory-utilization,或增加卡数,或换用量化版本。运行中OOM或请求失败增多
定位:查看KV Cache使用率和排队请求数。
处理:降低--max-num-seqs,同时下调网关对该池的并发上限。服务启动失败
定位:docker logs查看报错,核对vLLM、CUDA、PyTorch和驱动版本是否匹配。
处理:回到版本对应关系表,固定匹配的版本组合。端口不通
定位:在推理节点执行curl 127.0.0.1:8000/health,再执行ss -lntp | grep 8000确认监听。从网关节点执行nc -vz <推理节点IP> 8000。
处理:本机正常而外部不通时,检查安全组规则和主机防火墙。模型加载失败
定位:ls -l /data/models/model-32b-think检查 config.json 和权重分片是否完整。核对挂载路径与容器内的--model路径是否一致。
处理:补齐缺失文件,修正挂载路径或读取权限。张量并行通信异常(NCCL)
定位:执行nvidia-smi topo -m,确认两卡在同一节点。设置NCCL_DEBUG=INFO后重启,查看日志。
处理:确认使用--ipc=host,检查两卡之间的连接方式,必要时更换为NVLink直连的实例。返回401或403
定位:确认调用方使用的密钥与网关和推理服务配置的密钥一致。
处理:从密钥服务重新注入密钥,并重启相关服务。不要把密钥写入日志或代码。长尾延迟偏高
定位:查看排队请求数。排队数持续增长说明实际并发超过了上限。
处理:降低网关并发上限,或增加推理实例。
七、上线验收清单
- 宿主机与容器内的 nvidia-smi 均能看到全部目标GPU。
-
/health返回正常,/v1/models中包含目标模型名。 - 启动日志中的KV Cache容量和最大并发已记录。
- 压测报告包含指标口径、并发阶梯和通过点。
- 网关的路由、超时、重试和限流已按池配置。
- 回滚步骤已演练。
- 密钥未出现在代码、镜像和日志中。

登录后可评论,请前往 登录 或 注册