logo

大语言模型服务部署实践:从规划到稳定上线

作者:新兰2026.11.18 12:13浏览量:0

简介:本文给出大语言模型服务化部署的可执行步骤,覆盖资源评估、环境准备、配置管理、灰度上线、验证与故障排查。读者可照做搭建可监控、可扩展、可回滚的推理服务,并避开显存不足、超时截断和健康检查误判等常见问题。

一、先明确部署对象

本文面向的是一类通用大语言模型。它既能完成问答、写作和摘要等对话任务,也能理解和生成代码,并经过指令跟随和偏好对齐训练。同一个模型承接两类请求,部署时要同时考虑短对话请求和长代码请求的资源占用。

部署前先确认三个参数:参数规模、权重精度和上下文长度。以 FP16 格式存储时,每个参数约占 2 字节,因此 70 亿参数(7B)的权重约 14 GB,140 亿参数(14B)约 28 GB。INT8 量化可将权重减半,INT4 量化可降到约四分之一。权重只是起点,推理时还要为 KV 缓存和运行时开销留出空间,KV 缓存随并发数和上下文长度增长。

二、选择部署形态

形态 特点 适合阶段
单机进程 启动快,依赖少,排查直接 功能验证、内部试用
容器化部署 环境可复制,便于扩容和回滚 多实例、稳定服务
托管运行环境 运维负担低,弹性由平台提供 资源有限、希望减少自建运维

建议先在单机完成功能与压测验证,再迁移到容器。选型时比较三件事:是否需要按流量自动扩缩容,团队是否有人能维护容器与编排,以及单位请求成本是否可接受。

三、资源评估

显存需求可用下面的粗略公式估算:

显存需求 ≈ 权重占用 + KV 缓存 + 运行时开销(约占 10%)+ 预留余量

预留余量建议取 15% 到 20%,防止流量波动时显存触顶。KV 缓存的大小取决于并发数和平均上下文长度,最准确的办法是压测实测。

压测时要分开统计短请求和长请求。短请求通常在 500 个 token 以内,长请求可能超过 4000 个 token。两类请求的占比会直接影响批处理效果和尾部延迟。用 nvidia-smi 每隔几秒记录一次显存占用,观察峰值是否超过总显存的 90%。若超过,应降低并发或上下文上限,不要依赖重启来恢复。

四、环境与配置

把以下参数从代码中剥离,通过环境变量或配置文件注入。下表给出示例值和调整依据。

配置项 示例值 调整依据 风险点
监听地址 127.0.0.1 或内网地址 只开放给需要访问的网段 监听公网地址可能导致未授权访问
最大并发数 32 以压测时 p95 延迟达标的最大值为准 过高会拖垮显存,过低会排队
请求超时 120 秒 按最长正常输出时长加 20% 余量 过短会截断长输出
批处理上限 8192 个 token 按显存余量调整 过大增加单请求延迟
日志级别 INFO 排障时临时开 DEBUG,用完改回 DEBUG 日志会快速占满磁盘
健康检查路径 /health 与接入层配置保持一致 路径不一致会导致实例被误判下线
模型权重路径 /models/llm/v1.2 路径中带版本号 路径或版本混淆会导致输出异常

配置变更要记录时间、修改人、修改内容和影响范围。生产环境不要直接手工改文件,应通过版本化的配置仓库发布。

五、部署步骤

以下以 vLLM 这一开源推理框架为例。其他框架的参数名称不同,但步骤一致。

步骤一:检查环境

  1. python3 --version
  2. nvidia-smi
  3. df -h /models

确认 Python 版本、驱动状态、显卡型号和显存可用量符合预期。磁盘剩余空间至少为权重大小的 2 倍。

步骤二:准备权重并校验

  1. wget -c https://example.com/models/llm-v1.2.tar.gz -O /models/llm-v1.2.tar.gz
  2. sha256sum /models/llm-v1.2.tar.gz

wget -c 支持断点续传。将发布方提供的 SHA256 值与计算结果对比,两者不一致时不得启动服务。

步骤三:启动推理服务

  1. vllm serve /models/llm/v1.2 \
  2. --host 127.0.0.1 --port 8000 \
  3. --max-model-len 8192 \
  4. --gpu-memory-utilization 0.85 \
  5. --max-num-seqs 32 \
  6. > /var/log/llm/serve.log 2>&1 &

日志中出现模型加载完成和服务监听的信息后,才进入下一步。首次加载可能需要数分钟。

步骤四:等待就绪

  1. timeout 600 bash -c 'until curl -sf http://127.0.0.1:8000/health; do sleep 5; done'

10 分钟内健康检查仍未返回成功,视为启动失败。此时查看日志中的第一条报错。

步骤五:配置接入层

以 Nginx 为例:

  1. upstream llm_backend {
  2. server 10.0.0.12:8000 max_fails=3 fail_timeout=30s;
  3. }
  4. server {
  5. listen 443 ssl;
  6. ssl_certificate /etc/nginx/certs/llm.crt;
  7. ssl_certificate_key /etc/nginx/certs/llm.key;
  8. location /v1/ {
  9. allow 10.0.0.0/24;
  10. deny all;
  11. proxy_pass http://llm_backend;
  12. proxy_read_timeout 130s;
  13. proxy_buffering off;
  14. }
  15. }

proxy_read_timeout 必须大于服务端的请求超时。否则接入层会先断开连接,用户看到的是截断,而不是服务端返回的明确错误。

步骤六:初步验证

  1. curl -s http://127.0.0.1:8000/v1/chat/completions \
  2. -H "Content-Type: application/json" \
  3. -d '{"model":"/models/llm/v1.2","messages":[{"role":"user","content":"用两句话介绍你自己"}],"max_tokens":128}'

返回结果中应包含 choices 字段,且 finish_reason 为 stop。

步骤七:灰度切换

先把 5% 的流量切到新实例。观察 30 分钟,若错误率低于 0.5%,且 p95 延迟不高于旧版本的 1.2 倍,再逐步扩大到 50%,最后全量切换。旧实例至少保留 24 小时。

回滚方法是把 upstream 中的地址改回旧实例,然后执行 nginx -t && nginx -s reload。回滚应能在 5 分钟内完成,并在上线前演练一次。

六、上线验证标准

上线前至少完成以下三类请求的测试。

  1. 对话类:请求“请概括下面一段文字的主要观点”,检查内容是否完整、有没有跑题。
  2. 指令跟随类:请求“输出 JSON,字段为 name 和 age,不要输出其他内容”,检查输出能否被 JSON 解析。
  3. 代码类:请求“用 Python 写一个判断回文的函数,并给出两个测试用例”,运行生成的代码并检查结果。

达标标准如下:

  • 健康检查连续 24 小时返回 200。
  • 接口成功率不低于 99.5%。
  • 短请求的 p95 延迟不高于压测基线,长请求单独统计。
  • 长输出截断比例(finish_reason 为 length 的请求)不高于 2%。截断过多时,应检查 max_tokens 设置和请求超时。
  • 未授权请求返回 403,且响应中不包含内部路径或版本信息。

每次部署或变更后,都按这份清单逐项确认。任何一项未通过,都不上线。

七、常见问题怎么排查

服务启动失败怎么排查?

先查看日志中的第一处错误:

  1. grep -inE "error|out of memory|no such file" /var/log/llm/serve.log | head -n 5

出现 CUDA out of memory 时,降低 --gpu-memory-utilization 或 --max-model-len。出现 no such file 时,用 ls -l /models/llm/v1.2 核对路径和文件是否完整。

请求超时怎么定位?

vLLM 在 /metrics 中暴露 Prometheus 指标,可以查看等待队列长度和运行中的请求数。队列持续增长时,按顺序处理:先降低最大并发数,再拆分超长请求,最后才考虑扩容实例。

健康检查失败怎么办?

在接入层所在机器上执行 curl -i http://10.0.0.12:8000/health。如果连接被拒绝,用 ss -lntp | grep 8000 确认服务是否在监听。如果返回 404,检查健康检查路径是否与接入层配置一致。

输出质量异常怎么查?

先用 curl http://127.0.0.1:8000/v1/models 确认当前加载的版本与预期一致。再用固定参数复现问题:temperature 设为 0,并固定随机种子。若结果与旧版本明显不同,回滚到上一个权重版本,然后逐项比对配置差异。

八、运维、安全与回滚

上线后,建议为以下指标设置告警:

  • GPU 显存占用连续 5 分钟超过 90%。
  • p95 延迟超过基线的 1.5 倍。
  • 5xx 错误率超过 1%。
  • 等待队列长度持续增长超过 10 分钟。

日志文件要配置 logrotate,设置单文件大小上限和保留天数,避免日志写满磁盘导致服务异常。API 密钥不得写入日志或命令行参数,应由环境变量或密钥管理服务注入。定期轮换密钥,并检查访问日志中是否有异常来源。

如果怀疑存在未授权访问,先在 Nginx 中为相应来源添加 deny 规则,再轮换密钥,最后复查访问日志,确认影响范围。

每个版本的权重和配置都保存在独立目录中,并保留可执行的回滚步骤和负责人。备份配置文件和校验值,故障时可在 30 分钟内恢复到上一个稳定版本。

九、总结

部署前完成资源评估,并按实测数据设定并发和上下文上限。部署时按顺序完成校验、启动、就绪检查和接入配置,每一步都有明确的通过条件。上线后用固定清单验证功能、性能和安全,并通过灰度切换和保留旧版本的方式控制风险。

发表评论

活动