logo

7B与32B大模型云端部署指南:显存到上线

作者:菠萝爱吃肉2026.11.18 12:16浏览量:0

简介:面向架构师与运维人员,梳理7B与32B模型的分池选型、显存与KV Cache估算、vLLM启动、网关分流、压测上线和故障排查。读者可按步骤复现部署,并依据自有压测数据确定并发上限。

一、适用范围与分池原则

同一模型家族通常提供7B和32B两种规格,并有Base、Instruct、Think等形态。不同形态在上下文长度、计算量和响应延迟上差异明显。如果把所有形态放进同一个服务池,低延迟问答和长推理会争抢显存与并发槽位,两类请求都难以稳定。

本文采用按规格和形态分池部署,由网关按请求类型路由:

  • 7B Instruct池:面向常规问答,目标是低延迟和较高并发。
  • 32B Think池:面向长推理,单请求占用的KV Cache多,并发上限应明显低于7B池。

本文假设读者熟悉Linux、Docker和HTTP接口。示例使用vLLM作为推理框架。参数名随版本变化,升级前请执行 vllm serve --help 核对参数。

二、显存与KV Cache估算

1. 估算公式

模型显存由两部分组成:

  • 权重:参数量乘以每参数字节数。BF16为2字节,FP8和INT8为1字节,INT4约为0.5字节。
  • KV Cache:随并发序列数和序列长度增长。长思维链输出会明显放大这部分占用。

单个token的KV Cache字节数可按下式估算:

  1. 每token KV字节数 = 2 × 层数 × KV头数 × 每头维度 × 每元素字节数

层数、KV头数和每头维度可从模型目录的 config.json 读取。注意使用的是KV头数(num_key_value_heads),它可能小于注意力头数。

2. 计算示例

以下数值为假设值:模型为64层、8个KV头、每头维度128,KV Cache以BF16存储。实际数值以 config.json 为准。

  • 每token:2 × 64 × 8 × 128 × 2 = 262144 字节,即256 KiB。
  • 单序列跑满8192 token:8192 × 256 KiB = 2 GiB。
  • 张量并行TP=2时,KV头按卡切分,每卡约1 GiB。
  • 8个并发序列都跑满8192 token:总计16 GiB,每卡约8 GiB。

这些结果只是算术估计,不代表吞吐或延迟。

3. 参考配置

模型规格 精度 权重估算 推荐卡配置 说明
7B 基座 / Instruct BF16 约14GB 单卡24GB及以上 承载常规并发
7B 量化版 INT8 / INT4 约7GB / 约4GB 单卡16GB 仅适合短上下文和低并发,不适合长文本高并发
32B Think BF16 约64GB 2卡48GB或2卡80GB 张量并行TP=2,KV Cache余量有限
32B 量化版 FP8 / INT8 约32GB 单卡80GB或双卡48GB 兼顾吞吐与长文本

表中数值只包含权重,不含KV Cache和框架开销,只作选型起点。

以2卡80GB部署32B Think BF16为例,假设 gpu-memory-utilization 为0.90,每卡可用约72GB,每卡权重约32GB,并假设预留6GB给激活值和框架开销。剩余约34GB可用于KV Cache,理论上可容纳约34个跑满8192 token的序列。这是上限估算,实际值以启动日志为准。若换成2卡48GB,每卡剩余空间很小,需要降低 max-model-len、换用量化版本或增加卡数。

Think分支的输出较长,中间上下文增长快。选型时应按“最长输入加最长输出”计算KV Cache需求,并预留余量。建议从20%左右的余量起步,再根据压测结果调整。

三、环境准备

1. 计算实例与内存

选择支持多卡高速互联的主流GPU实例。系统内存建议不低于显存总量的1.5倍。这是经验值,适用于模型加载和请求预处理负载较重的场景,最终应以实际加载峰值和压测结果为准。

2. 驱动与容器运行时

安装与GPU型号匹配的NVIDIA驱动,并安装 nvidia-container-toolkit,使容器可以访问GPU。vLLM、CUDA和PyTorch的版本需要相互匹配,对应关系参考vLLM官方发布说明。

3. 网络与安全组

  • 安全组只向API网关所在子网开放推理端口8000。
  • 管理端口不暴露公网。
  • 多节点并行部署时,节点放在同一VPC的同一高速子网内。
  • 网关到推理服务之间走内网,并启用鉴权或mTLS。
  • API密钥由密钥管理服务注入环境变量,不写入代码、镜像或代码仓库。

4. 权重存放

将权重放在共享存储的固定目录,例如 /data/models/model-7b-instruct 和 /data/models/model-32b-think。推理容器以只读方式挂载该目录,避免服务进程修改权重文件。

四、部署步骤

步骤1:校验GPU状态

  1. nvidia-smi --query-gpu=index,name,temperature.gpu,memory.used,memory.total,utilization.gpu --format=csv
  2. nvidia-smi topo -m

第一条命令确认所有目标GPU均可见、温度正常,启动前显存占用接近零。第二条命令查看GPU之间的连接方式。NV开头的标记表示NVLink直连,PHB或PIX等表示经过PCIe。TP=2的两张卡应优先选择NVLink直连的组合。

检查容器内的GPU可见性:

  1. docker run --rm --gpus all nvidia/cuda:<与驱动兼容的标签> nvidia-smi

其他厂商的加速卡请使用对应的管理工具。

步骤2:启动vLLM服务

  1. export MODEL_PATH=/data/models/model-32b-think
  2. export SERVE_PORT=8000
  3. export VLLM_API_KEY="$(cat /run/secrets/vllm_api_key)"
  4. vllm serve "${MODEL_PATH}" \
  5. --served-model-name model-32b-think \
  6. --tensor-parallel-size 2 \
  7. --max-model-len 8192 \
  8. --max-num-seqs 16 \
  9. --gpu-memory-utilization 0.90 \
  10. --host 0.0.0.0 \
  11. --port "${SERVE_PORT}"

参数说明:

  • --served-model-name:网关路由时使用的模型名,需与网关配置一致。
  • --tensor-parallel-size:张量并行卡数,需与可见GPU数量匹配。
  • --max-model-len:单请求的最大上下文长度(输入加输出),决定KV Cache的单序列上限。
  • --max-num-seqs:同时调度的最大序列数,用于限制并发。
  • --gpu-memory-utilization:vLLM可占用的显存比例。过高容易在峰值时OOM,过低会浪费显存。

启动完成后,在日志中查找 GPU KV cache size 和 Maximum concurrency 两行,以它们为准,替代前面的估算值。

验证服务状态:

  1. curl -s http://127.0.0.1:8000/health
  2. curl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer ${VLLM_API_KEY}"
  3. curl -s http://127.0.0.1:8000/v1/chat/completions \
  4. -H "Content-Type: application/json" \
  5. -H "Authorization: Bearer ${VLLM_API_KEY}" \
  6. -d '{"model":"model-32b-think","messages":[{"role":"user","content":"你好"}],"max_tokens":64}'

步骤3:容器化与自动重启

使用固定版本的镜像,并把参数和密钥放在权限为600的环境文件中:

  1. docker run -d --name vllm-32b-think \
  2. --gpus all --ipc=host \
  3. --restart unless-stopped \
  4. --env-file /etc/vllm/32b-think.env \
  5. -v /data/models/model-32b-think:/models/model-32b-think:ro \
  6. -p 8000:8000 \
  7. --health-cmd "curl -fs http://localhost:8000/health || exit 1" \
  8. --health-interval 30s \
  9. vllm/vllm-openai:<固定版本号> \
  10. --model /models/model-32b-think \
  11. --served-model-name model-32b-think \
  12. --tensor-parallel-size 2 \
  13. --max-model-len 8192 \
  14. --max-num-seqs 16 \
  15. --gpu-memory-utilization 0.90

--ipc=host 用于多卡张量并行时的进程间通信。镜像的入口参数随版本变化,请以所用镜像的文档为准。若不使用Docker,可用systemd管理服务,并设置 Restart=always。

步骤4:网关按任务分流

网关负责统一入口、鉴权、路由和限流。建议遵循以下规则:

请求特征 目标池 模型名 超时起点 并发上限
常规问答 7B Instruct池 qa-7b 按业务SLO设定 按7B压测结果设定
长推理任务 32B Think池 model-32b-think 明显长于7B池 按32B压测结果设定

规则说明:

  • 路由键:使用请求体中的 model 字段,或业务侧传入的任务类型标签。
  • 分池配置:两个池的上游地址、连接数和并发上限分别配置,互不共用。
  • 超时:32B Think池的超时远大于7B池,两者不能共用一个值。下表中的超时仅为调参起点。
  • 重试:只对连接失败或上游尚未返回任何字节的情况重试一次。已开始流式输出的请求不重试,避免重复生成。
  • 鉴权:网关校验调用方凭证,并以内部凭证访问上游。上游密钥只存在于网关侧的密钥服务中。
  • 限流与熔断:按调用方设置QPS和并发配额,超出时返回429。某个池的错误率超过阈值时,暂停转发并返回明确的错误信息。

五、压测与上线

1. 指标口径

指标 定义 采集方式
TTFT 发出请求到收到第一个token的时间 压测客户端记录
TPOT 每个输出token的平均生成时间 总耗时减首token时间,除以输出token数
P95端到端延迟 95%请求的完整响应时间 压测客户端记录
输出吞吐 总输出token数除以压测时长,单位tokens/s 压测客户端统计
错误率 非2xx响应或超时的请求占比 网关日志统计
显存峰值 压测期间每卡显存最大占用 nvidia-smi周期采样
KV Cache使用率、排队请求数 缓存占用和等待调度的请求数量 vLLM的 /metrics 端点,指标名随版本变化

2. 压测方法

  • 请求样本:从真实流量中抽样输入长度,并混合短输出和长输出两类请求。
  • 并发阶梯:按1、2、4、8、16……逐级加压。每级稳定运行至少5分钟,并丢弃预热阶段的数据。
  • 通过点:找到P95延迟超过业务SLO或错误率超过阈值的前一级,作为该级的通过点。
  • 上线并发上限:取通过点的约80%作为初始值。这是保守做法,实际值应结合业务峰值调整。

压测工具可使用vLLM仓库自带的benchmark脚本,或通用的压测工具。具体参数以所用版本为准。

3. 通过标准模板

以下阈值为模板,需替换为业务实际SLO:

  • 错误率低于1%。
  • P95端到端延迟不超过业务SLO。
  • 显存峰值低于每卡显存,并保留可配置的余量。
  • 排队请求数在稳态下没有持续增长。

4. 灰度与回滚

  • 先将约10%流量导入新服务,观察至少30分钟,再逐步扩大比例。
  • 回滚时,在网关中将流量切回旧路由。旧容器和旧模型目录在新服务稳定前不要删除。
  • 每次变更前,演练一次回滚流程。

六、故障排查清单

  1. 启动时报CUDA out of memory
    定位:docker logs vllm-32b-think | grep -i memory
    处理:降低 --max-model-len 或 --gpu-memory-utilization,或增加卡数,或换用量化版本。

  2. 运行中OOM或请求失败增多
    定位:查看KV Cache使用率和排队请求数。
    处理:降低 --max-num-seqs,同时下调网关对该池的并发上限。

  3. 服务启动失败
    定位:docker logs 查看报错,核对vLLM、CUDA、PyTorch和驱动版本是否匹配。
    处理:回到版本对应关系表,固定匹配的版本组合。

  4. 端口不通
    定位:在推理节点执行 curl 127.0.0.1:8000/health,再执行 ss -lntp | grep 8000 确认监听。从网关节点执行 nc -vz <推理节点IP> 8000。
    处理:本机正常而外部不通时,检查安全组规则和主机防火墙。

  5. 模型加载失败
    定位:ls -l /data/models/model-32b-think 检查 config.json 和权重分片是否完整。核对挂载路径与容器内的 --model 路径是否一致。
    处理:补齐缺失文件,修正挂载路径或读取权限。

  6. 张量并行通信异常(NCCL)
    定位:执行 nvidia-smi topo -m,确认两卡在同一节点。设置 NCCL_DEBUG=INFO 后重启,查看日志。
    处理:确认使用 --ipc=host,检查两卡之间的连接方式,必要时更换为NVLink直连的实例。

  7. 返回401或403
    定位:确认调用方使用的密钥与网关和推理服务配置的密钥一致。
    处理:从密钥服务重新注入密钥,并重启相关服务。不要把密钥写入日志或代码。

  8. 长尾延迟偏高
    定位:查看排队请求数。排队数持续增长说明实际并发超过了上限。
    处理:降低网关并发上限,或增加推理实例。

七、上线验收清单

  • 宿主机与容器内的 nvidia-smi 均能看到全部目标GPU。
  • /health 返回正常,/v1/models 中包含目标模型名。
  • 启动日志中的KV Cache容量和最大并发已记录。
  • 压测报告包含指标口径、并发阶梯和通过点。
  • 网关的路由、超时、重试和限流已按池配置。
  • 回滚步骤已演练。
  • 密钥未出现在代码、镜像和日志中。

发表评论

活动