大语言模型服务部署实践:从规划到稳定上线
作者:新兰2026.11.18 12:13浏览量:0简介:本文给出大语言模型服务化部署的可执行步骤,覆盖资源评估、环境准备、配置管理、灰度上线、验证与故障排查。读者可照做搭建可监控、可扩展、可回滚的推理服务,并避开显存不足、超时截断和健康检查误判等常见问题。
一、先明确部署对象
本文面向的是一类通用大语言模型。它既能完成问答、写作和摘要等对话任务,也能理解和生成代码,并经过指令跟随和偏好对齐训练。同一个模型承接两类请求,部署时要同时考虑短对话请求和长代码请求的资源占用。
部署前先确认三个参数:参数规模、权重精度和上下文长度。以 FP16 格式存储时,每个参数约占 2 字节,因此 70 亿参数(7B)的权重约 14 GB,140 亿参数(14B)约 28 GB。INT8 量化可将权重减半,INT4 量化可降到约四分之一。权重只是起点,推理时还要为 KV 缓存和运行时开销留出空间,KV 缓存随并发数和上下文长度增长。
二、选择部署形态
| 形态 | 特点 | 适合阶段 |
|---|---|---|
| 单机进程 | 启动快,依赖少,排查直接 | 功能验证、内部试用 |
| 容器化部署 | 环境可复制,便于扩容和回滚 | 多实例、稳定服务 |
| 托管运行环境 | 运维负担低,弹性由平台提供 | 资源有限、希望减少自建运维 |
建议先在单机完成功能与压测验证,再迁移到容器。选型时比较三件事:是否需要按流量自动扩缩容,团队是否有人能维护容器与编排,以及单位请求成本是否可接受。
三、资源评估
显存需求可用下面的粗略公式估算:
显存需求 ≈ 权重占用 + KV 缓存 + 运行时开销(约占 10%)+ 预留余量
预留余量建议取 15% 到 20%,防止流量波动时显存触顶。KV 缓存的大小取决于并发数和平均上下文长度,最准确的办法是压测实测。
压测时要分开统计短请求和长请求。短请求通常在 500 个 token 以内,长请求可能超过 4000 个 token。两类请求的占比会直接影响批处理效果和尾部延迟。用 nvidia-smi 每隔几秒记录一次显存占用,观察峰值是否超过总显存的 90%。若超过,应降低并发或上下文上限,不要依赖重启来恢复。
四、环境与配置
把以下参数从代码中剥离,通过环境变量或配置文件注入。下表给出示例值和调整依据。
| 配置项 | 示例值 | 调整依据 | 风险点 |
|---|---|---|---|
| 监听地址 | 127.0.0.1 或内网地址 | 只开放给需要访问的网段 | 监听公网地址可能导致未授权访问 |
| 最大并发数 | 32 | 以压测时 p95 延迟达标的最大值为准 | 过高会拖垮显存,过低会排队 |
| 请求超时 | 120 秒 | 按最长正常输出时长加 20% 余量 | 过短会截断长输出 |
| 批处理上限 | 8192 个 token | 按显存余量调整 | 过大增加单请求延迟 |
| 日志级别 | INFO | 排障时临时开 DEBUG,用完改回 | DEBUG 日志会快速占满磁盘 |
| 健康检查路径 | /health | 与接入层配置保持一致 | 路径不一致会导致实例被误判下线 |
| 模型权重路径 | /models/llm/v1.2 | 路径中带版本号 | 路径或版本混淆会导致输出异常 |
配置变更要记录时间、修改人、修改内容和影响范围。生产环境不要直接手工改文件,应通过版本化的配置仓库发布。
五、部署步骤
以下以 vLLM 这一开源推理框架为例。其他框架的参数名称不同,但步骤一致。
步骤一:检查环境
python3 --versionnvidia-smidf -h /models
确认 Python 版本、驱动状态、显卡型号和显存可用量符合预期。磁盘剩余空间至少为权重大小的 2 倍。
步骤二:准备权重并校验
wget -c https://example.com/models/llm-v1.2.tar.gz -O /models/llm-v1.2.tar.gzsha256sum /models/llm-v1.2.tar.gz
wget -c 支持断点续传。将发布方提供的 SHA256 值与计算结果对比,两者不一致时不得启动服务。
步骤三:启动推理服务
vllm serve /models/llm/v1.2 \--host 127.0.0.1 --port 8000 \--max-model-len 8192 \--gpu-memory-utilization 0.85 \--max-num-seqs 32 \> /var/log/llm/serve.log 2>&1 &
日志中出现模型加载完成和服务监听的信息后,才进入下一步。首次加载可能需要数分钟。
步骤四:等待就绪
timeout 600 bash -c 'until curl -sf http://127.0.0.1:8000/health; do sleep 5; done'
10 分钟内健康检查仍未返回成功,视为启动失败。此时查看日志中的第一条报错。
步骤五:配置接入层
以 Nginx 为例:
upstream llm_backend {server 10.0.0.12:8000 max_fails=3 fail_timeout=30s;}server {listen 443 ssl;ssl_certificate /etc/nginx/certs/llm.crt;ssl_certificate_key /etc/nginx/certs/llm.key;location /v1/ {allow 10.0.0.0/24;deny all;proxy_pass http://llm_backend;proxy_read_timeout 130s;proxy_buffering off;}}
proxy_read_timeout 必须大于服务端的请求超时。否则接入层会先断开连接,用户看到的是截断,而不是服务端返回的明确错误。
步骤六:初步验证
curl -s http://127.0.0.1:8000/v1/chat/completions \-H "Content-Type: application/json" \-d '{"model":"/models/llm/v1.2","messages":[{"role":"user","content":"用两句话介绍你自己"}],"max_tokens":128}'
返回结果中应包含 choices 字段,且 finish_reason 为 stop。
步骤七:灰度切换
先把 5% 的流量切到新实例。观察 30 分钟,若错误率低于 0.5%,且 p95 延迟不高于旧版本的 1.2 倍,再逐步扩大到 50%,最后全量切换。旧实例至少保留 24 小时。
回滚方法是把 upstream 中的地址改回旧实例,然后执行 nginx -t && nginx -s reload。回滚应能在 5 分钟内完成,并在上线前演练一次。
六、上线验证标准
上线前至少完成以下三类请求的测试。
- 对话类:请求“请概括下面一段文字的主要观点”,检查内容是否完整、有没有跑题。
- 指令跟随类:请求“输出 JSON,字段为 name 和 age,不要输出其他内容”,检查输出能否被 JSON 解析。
- 代码类:请求“用 Python 写一个判断回文的函数,并给出两个测试用例”,运行生成的代码并检查结果。
达标标准如下:
- 健康检查连续 24 小时返回 200。
- 接口成功率不低于 99.5%。
- 短请求的 p95 延迟不高于压测基线,长请求单独统计。
- 长输出截断比例(finish_reason 为 length 的请求)不高于 2%。截断过多时,应检查 max_tokens 设置和请求超时。
- 未授权请求返回 403,且响应中不包含内部路径或版本信息。
每次部署或变更后,都按这份清单逐项确认。任何一项未通过,都不上线。
七、常见问题怎么排查
服务启动失败怎么排查?
先查看日志中的第一处错误:
grep -inE "error|out of memory|no such file" /var/log/llm/serve.log | head -n 5
出现 CUDA out of memory 时,降低 --gpu-memory-utilization 或 --max-model-len。出现 no such file 时,用 ls -l /models/llm/v1.2 核对路径和文件是否完整。
请求超时怎么定位?
vLLM 在 /metrics 中暴露 Prometheus 指标,可以查看等待队列长度和运行中的请求数。队列持续增长时,按顺序处理:先降低最大并发数,再拆分超长请求,最后才考虑扩容实例。
健康检查失败怎么办?
在接入层所在机器上执行 curl -i http://10.0.0.12:8000/health。如果连接被拒绝,用 ss -lntp | grep 8000 确认服务是否在监听。如果返回 404,检查健康检查路径是否与接入层配置一致。
输出质量异常怎么查?
先用 curl http://127.0.0.1:8000/v1/models 确认当前加载的版本与预期一致。再用固定参数复现问题:temperature 设为 0,并固定随机种子。若结果与旧版本明显不同,回滚到上一个权重版本,然后逐项比对配置差异。
八、运维、安全与回滚
上线后,建议为以下指标设置告警:
- GPU 显存占用连续 5 分钟超过 90%。
- p95 延迟超过基线的 1.5 倍。
- 5xx 错误率超过 1%。
- 等待队列长度持续增长超过 10 分钟。
日志文件要配置 logrotate,设置单文件大小上限和保留天数,避免日志写满磁盘导致服务异常。API 密钥不得写入日志或命令行参数,应由环境变量或密钥管理服务注入。定期轮换密钥,并检查访问日志中是否有异常来源。
如果怀疑存在未授权访问,先在 Nginx 中为相应来源添加 deny 规则,再轮换密钥,最后复查访问日志,确认影响范围。
每个版本的权重和配置都保存在独立目录中,并保留可执行的回滚步骤和负责人。备份配置文件和校验值,故障时可在 30 分钟内恢复到上一个稳定版本。
九、总结
部署前完成资源评估,并按实测数据设定并发和上下文上限。部署时按顺序完成校验、启动、就绪检查和接入配置,每一步都有明确的通过条件。上线后用固定清单验证功能、性能和安全,并通过灰度切换和保留旧版本的方式控制风险。

登录后可评论,请前往 登录 或 注册