大语言模型上线指南:从显存估算到安全回滚
作者:demo2026.11.18 11:43浏览量:0简介:面向开发者、运维和架构师,给出大语言模型部署的可执行流程:先估算显存,再准备环境、编写启动参数、设置健康检查,最后灰度上线并保留回滚方案。按步骤核对,可以减少上线返工,降低线上风险。
一、显存估算
显存估算是部署的第一步。估算结果决定 GPU 数量、并发上限和最大上下文长度。显存需求由三部分组成:
显存需求 ≈ 模型权重 + KV Cache + 激活与框架开销
- 模型权重:参数量乘以每个参数的字节数。FP16 和 BF16 每个参数占 2 字节,INT8 占 1 字节,INT4 约占 0.5 字节。例如 70B 稠密模型使用 FP16 时,权重约 140 GB;使用 INT4 量化时,权重约 35 GB。
- KV Cache:每个 token 占用的显存 = 2 × 层数 × KV 头数 × head_dim × 每个元素的字节数。假设模型有 80 层、8 个 KV 头、head_dim 为 128,使用 FP16 时,每个 token 约占 320 KB。16 路并发、每路 4096 个 token 时,KV Cache 约需 20 GB。
- 激活与框架开销:通常按前两项之和的 10% 到 20% 预留,并为显存碎片留出空间。
稀疏混合专家(MoE)模型每次推理只激活一部分专家,计算量与激活参数相关。但显存需要容纳全部专家。一个总参数 300B、激活参数 30B 的模型,FP16 权重约 600 GB,部署时仍应按 600 GB 规划。
以上是估算值。实际显存占用受推理框架、量化方式、算子实现和请求长度分布影响。最终数值应以目标环境加载模型后的实测结果为准。
二、环境准备
- 确认驱动与运行时版本:
nvidia-sminvcc --version # 若从源码编译python -c "import torch; print(torch.__version__, torch.version.cuda)"
驱动版本需满足推理框架的最低要求。框架、CUDA 与 PyTorch 版本组合不匹配时,常见现象是启动报错或输出异常。
- 检查存储。权重文件应放在本地 NVMe 或高性能共享存储上。冷启动时间主要取决于权重读取速度。
- 校验权重完整性。对权重文件计算 SHA256,与发布方提供的校验值比对。分词器和配置文件必须与权重来自同一版本。
- 准备访问密钥。密钥从环境变量或密钥管理服务注入,不写入代码、配置文件或镜像。
三、服务启动
以 vLLM 的 OpenAI 兼容接口为例,启动命令如下。参数名称以所用框架的文档为准。
export VLLM_API_KEY="$(cat /run/secrets/llm_api_key)"vllm serve /models/my-model-v1 \--served-model-name my-model \--tensor-parallel-size 2 \--dtype bfloat16 \--max-model-len 8192 \--max-num-seqs 64 \--gpu-memory-utilization 0.90 \--host 0.0.0.0 \--port 8000 \--api-key "$VLLM_API_KEY"
参数说明:
--tensor-parallel-size:张量并行使用的 GPU 数量,需与实际卡数一致。--max-model-len:单个请求的最大上下文长度,直接影响 KV Cache 占用。--max-num-seqs:同时处理的最大序列数,即并发上限。--gpu-memory-utilization:框架可使用的显存比例。设为 0.90 左右,可为系统和碎片保留余量。--port:服务端口只对网关开放,不对公网开放。
启动后,日志中应能看到权重加载完成、KV Cache 分配大小和服务监听地址。若出现 OOM,按以下顺序调整:降低 --max-model-len,降低 --max-num-seqs,增加 GPU 数量,或改用低精度量化版本。
四、上线验证
上线验证分为三层,全部通过后再接入业务流量。
- 健康检查:
GET /health应返回 HTTP 200。在 Kubernetes 或网关中,就绪探针可参考以下配置:路径/health,超时 2 秒,检查周期 10 秒,连续失败 3 次判定为不可用。存活探针的初始延迟应大于模型加载时间,避免加载期间被误判为故障而重启。 - 功能冒烟测试。发送固定的短提示词,检查返回内容非空、格式正确,耗时在预期范围内。
curl -s http://127.0.0.1:8000/v1/chat/completions \-H "Authorization: Bearer $VLLM_API_KEY" \-H "Content-Type: application/json" \-d '{"model":"my-model","messages":[{"role":"user","content":"用一句话介绍你自己"}],"max_tokens":64}'
- 压测与灰度。先按预期峰值并发的 1.2 倍施加压力,观察错误率与延迟。通过后分阶段放量,例如 5%、20%、50%、100%。每一阶段的观察时长由团队的服务等级目标(SLO)决定。
网关需要配置超时时间。长文本生成的上游超时应明确设置,例如 120 秒。同时按调用方或密钥配置限流,防止单一业务线占满资源。
五、监控与日志
建议记录的日志字段包括:请求 ID、模型版本、调用方标识、输入 token 数、输出 token 数、首 token 延迟、总耗时和 HTTP 状态码。调用方标识记录哈希值或内部编号,不记录明文密钥。完整提示词与模型输出默认不落盘。确需记录时,先做脱敏处理,并设置保留期限。
核心指标:
- 请求量与错误率,重点关注 5xx 和 429 的比例。
- 首 token 延迟,以及总耗时的 p95 和 p99。
- 生成速度(token/s)和排队等待时间。
- GPU 显存使用率、GPU 利用率和温度。
告警规则示例:错误率连续 5 分钟超过 1%;p95 延迟超过 SLO 阈值;显存使用率连续 10 分钟超过 95%;排队时间持续增长。上述阈值应结合基线数据调整,不宜直接套用示例值。
六、回滚与故障排查
回滚前的准备工作:
- 保留上一版本的镜像标签和权重目录,不覆盖原文件。
- 确认新版本是否改变了分词器、提示词模板或输出格式。若调用方依赖旧格式,需先做兼容或同步升级。
- 确定流量切换顺序。先将网关流量切回旧版本,再停止新版本实例,避免两个版本同时

登录后可评论,请前往 登录 或 注册