logo

大语言模型上线指南:从显存估算到安全回滚

作者:demo2026.11.18 11:43浏览量:0

简介:面向开发者、运维和架构师,给出大语言模型部署的可执行流程:先估算显存,再准备环境、编写启动参数、设置健康检查,最后灰度上线并保留回滚方案。按步骤核对,可以减少上线返工,降低线上风险。

一、显存估算

显存估算是部署的第一步。估算结果决定 GPU 数量、并发上限和最大上下文长度。显存需求由三部分组成:

显存需求 ≈ 模型权重 + KV Cache + 激活与框架开销

  1. 模型权重:参数量乘以每个参数的字节数。FP16 和 BF16 每个参数占 2 字节,INT8 占 1 字节,INT4 约占 0.5 字节。例如 70B 稠密模型使用 FP16 时,权重约 140 GB;使用 INT4 量化时,权重约 35 GB。
  2. KV Cache:每个 token 占用的显存 = 2 × 层数 × KV 头数 × head_dim × 每个元素的字节数。假设模型有 80 层、8 个 KV 头、head_dim 为 128,使用 FP16 时,每个 token 约占 320 KB。16 路并发、每路 4096 个 token 时,KV Cache 约需 20 GB。
  3. 激活与框架开销:通常按前两项之和的 10% 到 20% 预留,并为显存碎片留出空间。

稀疏混合专家(MoE)模型每次推理只激活一部分专家,计算量与激活参数相关。但显存需要容纳全部专家。一个总参数 300B、激活参数 30B 的模型,FP16 权重约 600 GB,部署时仍应按 600 GB 规划。

以上是估算值。实际显存占用受推理框架、量化方式、算子实现和请求长度分布影响。最终数值应以目标环境加载模型后的实测结果为准。

二、环境准备

  1. 确认驱动与运行时版本:
  1. nvidia-smi
  2. nvcc --version # 若从源码编译
  3. python -c "import torch; print(torch.__version__, torch.version.cuda)"

驱动版本需满足推理框架的最低要求。框架、CUDA 与 PyTorch 版本组合不匹配时,常见现象是启动报错或输出异常。

  1. 检查存储。权重文件应放在本地 NVMe 或高性能共享存储上。冷启动时间主要取决于权重读取速度。
  2. 校验权重完整性。对权重文件计算 SHA256,与发布方提供的校验值比对。分词器和配置文件必须与权重来自同一版本。
  3. 准备访问密钥。密钥从环境变量或密钥管理服务注入,不写入代码、配置文件或镜像。

三、服务启动

以 vLLM 的 OpenAI 兼容接口为例,启动命令如下。参数名称以所用框架的文档为准。

  1. export VLLM_API_KEY="$(cat /run/secrets/llm_api_key)"
  2. vllm serve /models/my-model-v1 \
  3. --served-model-name my-model \
  4. --tensor-parallel-size 2 \
  5. --dtype bfloat16 \
  6. --max-model-len 8192 \
  7. --max-num-seqs 64 \
  8. --gpu-memory-utilization 0.90 \
  9. --host 0.0.0.0 \
  10. --port 8000 \
  11. --api-key "$VLLM_API_KEY"

参数说明:

  • --tensor-parallel-size:张量并行使用的 GPU 数量,需与实际卡数一致。
  • --max-model-len:单个请求的最大上下文长度,直接影响 KV Cache 占用。
  • --max-num-seqs:同时处理的最大序列数,即并发上限。
  • --gpu-memory-utilization:框架可使用的显存比例。设为 0.90 左右,可为系统和碎片保留余量。
  • --port:服务端口只对网关开放,不对公网开放。

启动后,日志中应能看到权重加载完成、KV Cache 分配大小和服务监听地址。若出现 OOM,按以下顺序调整:降低 --max-model-len,降低 --max-num-seqs,增加 GPU 数量,或改用低精度量化版本。

四、上线验证

上线验证分为三层,全部通过后再接入业务流量。

  1. 健康检查:GET /health 应返回 HTTP 200。在 Kubernetes 或网关中,就绪探针可参考以下配置:路径 /health,超时 2 秒,检查周期 10 秒,连续失败 3 次判定为不可用。存活探针的初始延迟应大于模型加载时间,避免加载期间被误判为故障而重启。
  2. 功能冒烟测试。发送固定的短提示词,检查返回内容非空、格式正确,耗时在预期范围内。
  1. curl -s http://127.0.0.1:8000/v1/chat/completions \
  2. -H "Authorization: Bearer $VLLM_API_KEY" \
  3. -H "Content-Type: application/json" \
  4. -d '{"model":"my-model","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":64}'
  1. 压测与灰度。先按预期峰值并发的 1.2 倍施加压力,观察错误率与延迟。通过后分阶段放量,例如 5%、20%、50%、100%。每一阶段的观察时长由团队的服务等级目标(SLO)决定。

网关需要配置超时时间。长文本生成的上游超时应明确设置,例如 120 秒。同时按调用方或密钥配置限流,防止单一业务线占满资源。

五、监控与日志

建议记录的日志字段包括:请求 ID、模型版本、调用方标识、输入 token 数、输出 token 数、首 token 延迟、总耗时和 HTTP 状态码。调用方标识记录哈希值或内部编号,不记录明文密钥。完整提示词与模型输出默认不落盘。确需记录时,先做脱敏处理,并设置保留期限。

核心指标:

  • 请求量与错误率,重点关注 5xx 和 429 的比例。
  • 首 token 延迟,以及总耗时的 p95 和 p99。
  • 生成速度(token/s)和排队等待时间。
  • GPU 显存使用率、GPU 利用率和温度。

告警规则示例:错误率连续 5 分钟超过 1%;p95 延迟超过 SLO 阈值;显存使用率连续 10 分钟超过 95%;排队时间持续增长。上述阈值应结合基线数据调整,不宜直接套用示例值。

六、回滚与故障排查

回滚前的准备工作:

  1. 保留上一版本的镜像标签和权重目录,不覆盖原文件。
  2. 确认新版本是否改变了分词器、提示词模板或输出格式。若调用方依赖旧格式,需先做兼容或同步升级。
  3. 确定流量切换顺序。先将网关流量切回旧版本,再停止新版本实例,避免两个版本同时

发表评论

活动