logo

MoT推理服务部署与运维:从环境到回滚全流程

作者:rousong2026.11.16 12:02浏览量:0

简介:本文面向开发者与运维人员,梳理Mixture of Transformers推理服务从资源规划、环境锁定、路由加载到灰度发布与回滚的完整步骤。文中给出可直接套用的检查命令、性能验收阈值和回滚触发条件,帮助读者判断单机或多设备方案,并快速定位加载失败、显存不足与专家负载不均等问题。

一、先确认部署的是哪一类模型

Mixture of Transformers(MoT)指把多条Transformer计算路径放进同一系统,路由粒度可以是Token、层、生成目标或任务路径。另一类常见做法是Mixture of Experts(MoE),只把前馈网络替换为混合专家层,由门控网络为每个输入选出Top-K个专家。两者都只激活部分参数,但权重布局和路由位置不同,部署方案也不能直接互换。

开始部署前,先阅读模型结构定义,确认专家位于前馈网络、注意力模块,还是独立路径上。如果按前馈网络专家的假设切分注意力内的专家,常见结果是加载报错,或者输出与训练时存在偏差。

另外,只有模型确实是稀疏激活时,才能按Top-K估算单次计算量。若某个实现在推理时仍激活全部路径,算力需求会接近稠密模型。

二、资源规划

1. 显存估算

显存估算可以先用下面的粗略公式,再用实测数据校正:

  • 权重显存 ≈ 总参数量 × 每参数字节数(BF16/FP16为2字节,INT8为1字节);
  • KV Cache显存 ≈ 2 × 层数 × 序列长度 × KV头数 × 头维度 × 批大小 × 每元素字节数;
  • 激活值与运行时开销难以精确计算,建议按权重显存的10%至30%预留,并以实测峰值为准。

例如,总参数量为60B、采用BF16存储时,权重约需120 GB。若预留30%用于KV Cache和运行时,总需求约为156 GB。这类数字只用于初步规划,具体结果取决于模型实现和输入长度。

2. 单机还是多设备

采用下面的判断顺序:

  1. 权重加预留空间能放进单张设备的可用显存的85%以内,优先选择单实例部署;
  2. 放不下时,先按专家切分到多张设备,再评估设备间通信带宽;
  3. 若多设备后P95延迟比单机高出50%以上,应重新评估切分方式,或改用更大显存的设备。

3. 存储与网络

模型目录建议包含以下结构,并为每个文件记录SHA-256校验值:

  1. model/
  2. weights/
  3. tokenizer/
  4. preprocessing/
  5. routing/
  6. config/
  7. logs/
  8. cache/
  9. backup/

大文件请求建议走对象存储引用或分段上传,避免长时间占用同步接口。超时时间应同时在接入层和推理服务两侧设置,并保持两侧数值一致。

三、版本锁定与环境检查

1. 版本清单

每次发布都应生成一份版本清单,示例如下:

项目 记录内容 检查方式
运行时 Python与推理框架版本 python -c "import torch; print(torch.__version__)"
设备驱动 驱动版本与CUDA版本 nvidia-smi
模型权重 版本号与SHA-256 sha256sum model/weights/*
配置 配置文件版本号 读取配置中的config_version字段
协议 输入输出字段版本 对比接口文档的版本号
设备 型号与数量 nvidia-smi -L

2. 基础检查命令

  1. nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv
  2. df -h /data
  3. timedatectl status
  4. sha256sum -c model/weights/SHA256SUMS

系统时间与标准时间偏差应控制在1秒以内,否则日志排序和监控数据可能出错。

3. 权限

服务进程使用普通账号运行,模型目录设置为只读。密钥与访问凭据通过环境变量或密钥管理服务注入。

  1. chown -R mot_svc:mot_svc /releases/mot-service-v002
  2. chmod -R a-w /releases/mot-service-v002/model

4. 停止条件

出现以下任一情况时,应停止上线:

  • 任一版本与清单不一致;
  • 任一文件的SHA-256校验失败;
  • 回归样本的输出格式、数值范围或异常行为与基线不一致。

四、路由配置与模型加载

1. 路由配置示例

以下字段以实际实现为准,请根据模型代码调整:

  1. routing:
  2. granularity: token # token | layer | task
  3. top_k: 2
  4. fallback_expert: 0
  5. log_expert_stats: true

Top-K会直接影响显存、吞吐和输出质量。调整前应在离线评估集上比较效果,不能只看延迟。

2. 加载阶段的日志字段

每次启动都应记录下列字段,便于事后对比:

  • model_version:模型版本;
  • expected_expert_count 与 loaded_expert_count:期望与实际加载的专家数量;
  • device_map:每个专家所在的设备;
  • weights_sha256_ok:校验结果;
  • load_seconds:权重加载耗时;
  • top_k:生效的Top-K值。

3. 预热

加载完成后发送少量预热请求,让高频专家进入设备缓存。

  1. for i in 1 2; do
  2. curl -s -X POST http://127.0.0.1:8000/v1/infer \
  3. -H "Content-Type: application/json" \
  4. -d @samples/warmup.json
  5. done

预热请求不计入性能统计。

4. 加载失败处理

现象 判断 处理
校验失败 weights_sha256_ok=false 停止加载,切回上一版本
专家数量不足 loaded_expert_count 小于期望值 保持不接流量,报警并排查文件缺失
显存溢出 日志出现OOM 降低批大小,或改为多设备切分后重试一次,仍失败则回滚
启动超时 加载时间超过历史均值的2倍 检查存储带宽,确认无其他进程占用

五、健康检查

健康检查分为两个接口:

  • liveness(/healthz):进程存活即返回200;
  • readiness(/readyz):专家全部加载、预热完成后才返回200。
  1. GET /healthz -> 200 {"status":"alive"}
  2. GET /readyz -> 503 {"status":"loading","experts_loaded":5,"expected":8}
  3. GET /readyz -> 200 {"status":"ready","model_version":"v002","experts_loaded":8}

readiness未通过时,负载均衡应将实例摘除。这样可以避免模型未就绪的实例接收请求。

六、性能验证

1. 测试方案

  • 测试样本:固定200条,按输入长度分为短(不超过512)、中(512至2048)、长(2048至4096)三组,各组数量相同;
  • 并发阶梯:1、2、4、8、16、32,每级持续5分钟,前1分钟数据丢弃;
  • 显存采样:每秒采集一次nvidia-smi数据,取峰值;
  • 长尾统计:同时记录P50、P95、P99。

2. 指标定义

  • 首字节延迟(TTFT):从请求发出到收到第一个输出字节的时间;
  • 完整响应延迟:从请求发出到响应结束的时间;
  • 吞吐量:每秒输出的Token数;
  • 错误率:返回5xx或超时的请求占比。

3. 验收阈值

以下数值是起点,应结合业务目标调整:

指标 通过条件 不通过时的处理
成功率 不低于99.5% 暂停放量,排查错误日志
首字节P95 不高于2秒 检查预热与缓存命中率
完整响应P99 不高于P50的3倍 检查路由不均衡与长输入分布
显存峰值 不高于单卡显存的85% 降低批大小或并发上限
专家负载比 最大专家负载除以平均负载,不高于2.0 进入第八节的排查流程

所有指标都通过,才进入灰度阶段。任一指标不通过,都应先定位原因并复测。

七、灰度发布、告警与回滚

1. 灰度节奏

流量按1%、5%、20%、50%、100%逐级放量。每一级至少保持30分钟,且累计请求数不少于1000次。进入下一级的条件如下:

  • 错误率不高于基线值加0.3个百分点;
  • P95延迟不高于基线值的1.15倍;
  • 专家负载比不高于2.0;
  • 过去一级内没有因OOM导致的进程重启。

2. 告警阈值

级别 条件 动作
P1 错误率超过1%并持续5分钟 通知值班人员,准备回滚
P1 15分钟内进程重启3次及以上 摘除实例,回滚
P2 P95延迟超过基线的1.5倍并持续10分钟 检查路由与并发
P2 显存使用率超过90%并持续5分钟 降低并发上限
提醒 磁盘使用率超过80% 清理日志与旧缓存

3. 容量水位

  • GPU平均利用率超过70%并持续30分钟,启动扩容评估;
  • 队列长度超过并发上限的50%,增加实例;
  • 扩容前确认新实例的加载时间和存储带宽能支撑快速启动。

4. 回滚触发条件

出现以下任一情况,立即回滚到上一版本:

  • 错误率超过2%并持续3分钟;
  • readiness失败率超过20%;
  • 回归样本输出不一致,且偏差超过约定的容忍范围;
  • 连续两次出现OOM。

5. 回滚演练

每个季度至少演练一次,记录实际耗时,目标为10分钟内完成:

  1. 将符号链接指回旧版本:ln -sfn /releases/mot-service-v001 /releases/current;
  2. 重启服务,等待readiness通过;
  3. 运行回归样本,比对输出;
  4. 确认错误率恢复到基线;
  5. 记录耗时与遗留问题。

八、专家负载不均的处置顺序

专家负载不均时,按以下顺序处理:

  1. 限流:降低单实例并发,避免热点专家过载;
  2. 调路由:检查门控分布,调整路由参数或增加负载均衡约束;
  3. 拆实例:当单实例的热点无法消除时,按专家分组部署多个实例。

排查时关注三类指标:每个专家的命中率、路由熵(熵值越低,流量越集中)、各设备利用率之间的差距。

九、常见问题

单机还是多设备?
权重加预留空间能放进单张设备,且延迟达标时,选择单机。否则采用多设备,并在上线前测量设备间通信开销。

为什么首次请求特别慢?
通常是模型加载、编译或缓存建立导致。预热能消除大部分首次请求延迟。如果预热后仍然慢,应检查专家是否按需加载。

降低Top-K能省多少显存?
Top-K主要影响计算量与激活专家数量,对权重总显存的影响较小。节省幅度需要用实际模型测量,效果变化也需通过离线评估确认。

服务启动后显存不下降,正常吗?
推理框架通常会保留已分配的显存池,显存占用稳定属于正常现象。若持续增长,应检查KV Cache是否随请求释放,以及是否存在未回收的缓存。

出现OOM后应先做什么?
先记录OOM前的输入长度、批大小和并发数,再依次降低批大小、限制最大输入长度、减少并

发表评论

活动