logo

微调大模型云上部署与运维全流程指南

作者:rousong2026.11.16 12:01浏览量:0

简介:本文面向开发者、运维与架构人员,讲解如何把一个总参数近 4000 亿的大参数混合专家(MoE)微调模型部署到云端:包括显存与卡数估算、环境准备、推理服务配置、上线验证、故障排查及运维优化,并提供部署清单与通用配置示例,帮助读者避开显存不足、吞吐不达标等常见坑。

近年来,某头部云厂商在春节前夕发布了一款新一代大参数混合专家(MoE)大模型:总参数量约 3970 亿,单次推理仅激活约 170 亿参数,官方称其能力已达到上一代旗舰水平。企业拿到这类模型后,往往还要基于自有数据做微调,再部署为可调用的服务。工程落地中真正的难点在于:总参数近 4000 亿,权重本身就吃掉大量显存。本文以”大参数 MoE 微调模型云上部署”为对象,完整讲解从资源评估、环境准备、推理服务启动,到上线验证、故障排查和持续运维的全过程。文中提到的百度智能云产品均为通用云产品类别,其他云平台的部署思路与之相通。

一、部署概述

1.1 部署对象

  • 部署对象:经过微调的大参数 MoE 大模型。其总参数量在千亿至数千亿级别,采用稀疏激活结构,每次前向只计算一部分专家。
  • 部署形态:推理服务。它接收 HTTP 请求,以流式或非流式方式返回生成结果。
  • 部署位置:以下以百度智能云为例,涉及云服务器、容器服务、对象存储、负载均衡、日志服务、监控告警等通用能力;部署在私有云或自建机房时,思路一致。
  • 服务形态:云服务器直装、容器化多副本、GPU 托管运行环境三种可选。

1.2 部署目标

  1. 对外提供稳定的推理接口,支持流式输出与多并发请求;
  2. 显存与吞吐符合容量规划,满足预期峰值并发;
  3. 具备健康检查、监控告警、限流鉴权和灰度回滚能力;
  4. 通过合理的资源与副本策略,控制整体成本。

1.3 适用读者与背景知识

适用于承担模型上线任务的算法工程师、平台工程师、运维与 SRE,以及负责资源规划的技术负责人。

大模型推理服务与普通 Web 服务有几点关键差异,部署前需要建立共识:

差异点 具体表现 对部署的影响
显存硬约束 权重必须完整放入加速卡显存,放不下就无法启动 部署前必须做显存估算,并按整卡规划资源
两阶段计算 处理输入阶段算力密集,逐字生成阶段受显存带宽制约 性能评估需分别关注首字延迟与生成速度
上下文占用递增 KV Cache 随上下文长度和并发数增长 需要限制最大长度与最大并发
负载不均 请求长短差异大,生成阶段占主导 扩缩容应依据队列与延迟,而非单纯 CPU
冷启动慢 权重加载需要较长时间 服务宜常驻,并配置就绪探针与预热

二、部署场景与部署方式

2.1 典型场景

  • 内部知识助手:员工通过内网访问,并发低,单副本加限流即可;
  • 面向用户的对话应用:并发高、长尾明显,需要多副本、负载均衡与弹性伸缩;
  • 数据处理类离线任务:批量摘要、分类、信息抽取,可错峰使用低成本资源;
  • 模型效果评估:在隔离环境中与基线模型对比,侧重验证的完整性。

2.2 三种部署方式对比

部署方式 适用场景 优点 注意点
云服务器直装 快速验证、独占使用 步骤直观,资源完全可控 驱动、推理框架、模型加载都要自行维护
容器化多副本 生产环境主力形态 环境一致,便于编排、扩缩容与灰度 镜像体积大,需处理多卡调度与镜像预热
GPU 托管运行环境 希望减少集群运维 调度、扩缩容由平台承担 需确认是否支持多机多卡及自定义推理框架

本文以容器化多副本为主线,其余两种方式可按同一逻辑裁剪。

三、部署架构与组件拆解

3.1 分层架构

层次 关键组件 作用
接入层 负载均衡、域名解析、证书 统一入口,健康检查,剔除异常后端
接入层 身份认证、限流、内容安全 访问控制,防滥用,输出合规审核
服务层 推理服务副本(N 个) 调度请求、批处理推理、流式返回
模型层 单机多卡张量并行,必要时跨机流水线并行 承载完整权重,分摊显存与计算
存储层 对象存储、本地高速盘 集中存放权重,本地缓存加速加载
支撑层 容器编排平台、日志服务、监控告警、配置与密钥管理 部署编排,可观测性,配置安全

请求链路如下:

用户请求 → 负载均衡 → 鉴权与限流 → 推理服务副本 → 本地模型权重 + 加速卡 → 流式返回 → 日志与监控采集

3.2 关键设计原则

  • 推理服务保持无状态:会话上下文由调用方携带或存放在外部存储中。任一副本都能处理任一请求,才能自由扩缩容。
  • 权重只读:权重复制到节点本地或共享存储后设为只读,并通过校验确认完整,避免运行中模型文件损坏。
  • 探针区分:存活探针(检测进程是否存活)与就绪探针(检测模型是否加载完成)分开配置。否则,分钟级的权重加载会导致实例反复重启。
  • 最小可用副本数:生产环境至少 2 个副本,分散在不同可用区,避免单点故障。

四、前置准备

4.1 账号、权限与网络

  1. 账号与权限:创建服务专用子账号,只授予创建计算实例、容器服务、对象存储、负载均衡、日志与监控所需的最小权限;推理服务自身访问对象存储时使用临时凭证或服务关联角色。
  2. 网络划分:在私有网络(VPC)内规划子网,推理实例放在私有子网,只通过负载均衡对外暴露。跨可用区部署时确认可用区分布。
  3. 安全组与网络策略:只放行负载均衡到推理端口的访问,以及节点之间推理通信所需端口;严格控制公网访问。
  4. 域名与证书:提前申请域名解析和 TLS 证书。内部服务可通过内网负载均衡或专线访问。
  5. 出站访问:拉取镜像、下载权重与依赖包需要公网访问能力。生产环境建议使用受控出站通道或内网镜像仓库。

4.2 模型文件准备

一个可加载的模型目录通常包含:

文件 作用
模型配置文件 记录层数、注意力头数、专家数量、上下文长度、词表大小等结构信息
权重分片文件 按分片保存模型参数,并附带分片索引
分词器文件 完成文本与 token 之间的转换
对话模板 定义系统提示、多轮消息的拼接格式
生成默认参数 温度、最大生成长度等默认值

获取与校验步骤:

  1. 从模型提供方指定的仓库获取权重,同时获取官方公布的文件校验值;
  2. 对模型配置文件和所有权重分片逐一比对校验值,不一致的重新下载;
  3. 如果做了微调,另存完整快照,包括微调产出的权重和原始权重,二者不可混用;
  4. 权重文件动辄数百 GB,上传对象存储时开启分片上传,下载到节点时开启断点续传。

4.3 运行时与镜像

  • 驱动与运行时:节点安装与推理框架匹配的加速卡驱动和计算运行时。更换推理框架版本前,先确认兼容性要求。
  • 基础镜像:建议直接用 GPU 厂商或模型提供方发布的官方推理镜像作为基础镜像。它通常已内置匹配的推理框架和依赖,能减少自行编译带来的版本冲突。
  • 自定义镜像:在官方镜像之上只添加启动脚本、健康检查探针和监控采集组件,并固定基础镜像版本。
  • 镜像分发:推送到内网镜像仓库;集群节点较多时,提前在节点池做镜像预拉取。

4.4 准备清单

类别 准备项 完成标准
账号 子账号、权限策略、密钥 最小权限可创建和查询所需资源
网络 私有网络、子网、安全组、域名、证书 仅必要端口开放,解析生效
计算 GPU 机型、数量、可用区 满足显存估算,并预留余量
存储 对象存储桶、共享文件存储、本地高速盘 权限正确,容量充足
模型 权重、配置、分词器、对话模板 校验值全部匹配
镜像 基础镜像、自定义镜像 镜像已在目标节点可拉取
配置 启动参数、环境变量、密钥 测试与生产参数隔离
负载均衡 监听、后端组、健康检查 探针路径与端口和推理服务一致
可观测性 日志采集、指标看板、告警规则 能按副本查看日志与指标

五、资源规划与容量估算

5.1 权重显存估算

通用公式:

权重显存 ≈ 参数量 × 每参数字节数

权重精度 每参数字节数(约) 3970 亿参数所需显存
FP16 / BF16 2 约 794 GB
FP8 1 约 397 GB
INT4 0.5 约 199 GB

实际部署时还要预留两部分:量化产生的缩放因子、框架自身的运行时开销,合计通常占权重大小的 5%~10%。

5.2 KV Cache 估算

KV Cache 的通用估算公式为:

KV Cache ≈ 2 × 层数 × (KV 头数 × 头维度) × 上下文长度 × 并发数 × 每元素字节数

假设模型层数为 60、KV 维度合计为 1024、KV 以 BF16 存储:

  • 每个 token 约占 60 × 1024 × 2 元素 × 2 字节 = 240 KiB;
  • 一条 32K 上下文请求约占 7.5 GB;
  • 64 路这样的并发将额外占用约 480 GB。

这只是假设示例。真实数据应读取模型配置文件,并乘以该模型的上下文长度和并发数。两点提醒:

  1. MoE 模型激活参数少,但 KV Cache 取决于层数、注意力头数和注意力实现,不能按激活参数估算;
  2. 采用潜在注意力(如 MLA)或分组查询注意力(GQA)的模型,KV Cache 通常显著更小,应以模型配置文件中的实际数值为准。

5.3 单卡与集群显存需求

  • 单卡需求 = 每卡权重分片 + 每卡 KV Cache 份额 + 激活及通信缓冲(约 10% 余量);
  • 最小卡数 ≈ 权重显存 ÷ (单卡显存 × 可利用率);生产环境的可利用率建议不超过 0.9,并在结果上再留 20% 余量;
  • 可用显存与上下文的关系:可容纳 KV Cache ≈ 单卡显存 × 卡数 × 0.9 − 权重显存;最大并发 ≈ 可用 KV Cache ÷ 单请求 KV Cache。

5.4 卡数与并行策略建议

以下假设单卡显存为 80 GB:

权重精度 纯权重最低卡数 建议卡数 说明
BF16 10 卡 16 卡及以上 16 卡时,权重每卡约 50 GB,剩余约 22 GB 用于 KV Cache 和运行时
FP8 5 卡 8 卡 8 卡时,权重每卡约 50 GB,余量与 BF16 的 16 卡方案相近
INT4 3 卡 4~8 卡 优先保证吞吐和并发能力,卡数不宜压到最低

并行策略的通用建议:

  • 张量并行(TP):优先在单机多卡内使用,可借助高带宽卡间互联,卡数通常不超过单机卡数;
  • 流水线并行(PP):需要跨机时,按层数均分到各机,注意气泡带来的效率损失;
  • 专家并行(EP):专家数多且单卡显存紧张时,用于把专家分散到多卡;
  • 避免组合过高:并行度越高,通信开销和单请求延迟越大,应以压测结果为准。

5.5 其他资源规划

  • CPU 与内存:建议 CPU 与 GPU 的核数比约 1:8,内存不低于 GPU 总显存,用于权重加载、请求前后处理以及潜在换出。
  • 存储:对象存储容量 ≥ 权重体积 × 版本数 × 副本策略;本地高速盘用于权重复制,容量 ≥ 单节点权重总量。
  • 带宽:按峰值并发 × 平均输出 token 数 × 每 token 字节数估算。例如峰值 100 路并发、每路每秒输出 30 个 token,约需 6 KB/s,通常远低于机型自带带宽,带宽一般不是瓶颈。
  • 吞吐容量:所需副本数 ≈ 峰值 token 吞吐需求 ÷ 单副本实测 token 吞吐;单副本数据来自第七节的压测。

六、部署流程

总流程:准备环境 → 创建资源 → 准备模型 → 构建镜像 → 单机验证 → 多机启动 → 开放访问 → 灰度上线

步骤 1:环境初始化

  • 创建私有网络、子网和安全组;
  • 准备镜像仓库与对象存储;
  • 确认可用区 GPU 资源库存;大参数模型需要单机多卡,机型库存紧张时提前申请配额。

作用:把网络、存储和计算边界固定下来,避免后续反复调整网络策略。

步骤 2:创建计算资源与存储

  • 按 5.4 的卡数创建 GPU 节点,系统盘建议 200 GB 以上,用于镜像和日志;另挂本地高速盘存放权重;
  • 创建共享文件存储时,选择支持高吞吐读取的类型;
  • 权重上传到对象存储后开启版本控制,便于模型升级时保留历史版本。

作用:资源一次规划到位,减少迁移。GPU 实例迁移往往意味着长时间停机。

步骤 3:准备模型与运行环境

  1. 节点安装驱动和容器运行时,验证加速卡可被识别、设备状态正常;
  2. 从对象存储或共享存储复制权重到本地高速盘,校验关键文件;
  3. 准备启动配置和对话模板。

作用:权重完整性直接决定输出是否正确,缺失或损坏的分片可能表现为启动失败,也可能表现为生成乱码。

步骤 4:构建与推送镜像

以下为通用 Dockerfile 示意,镜像名称与标签均为占位符:

  1. # 以模型提供方或 GPU 厂商发布的官方推理镜像为基线,版本固定
  2. FROM <registry.example>/<namespace>/inference-base:<pinned-version>
  3. # 复制启动脚本与配置模板
  4. COPY serve.sh /app/serve.sh
  5. COPY config.template.yaml /app/config.template.yaml
  6. # 健康检查依赖(如镜像内未内置)
  7. # RUN <install-healthcheck-tool>
  8. # 启动脚本负责:校验权重路径与校验值、渲染配置、拉起推理服务
  9. ENTRYPOINT ["/app/serve.sh"]

注意事项:

  • 镜像体积可能达数十 GB,要推动分层复用和镜像预热;
  • 启动脚本入口统一,本地、测试和生产使用同一镜像,只通过环境变量区分配置。

步骤 5:单副本启动与冒烟验证

启动前先确认四个问题:权重是否完整,精度与卡数是否匹配,并行度是否与实际卡数一致,端口是否被占用。

通用启动脚本与配置示例(字段为通用命名,具体以所用推理框架的文档为准):

  1. #!/usr/bin/env bash
  2. set -euo pipefail
  3. # ---------- 环境变量 ----------
  4. : "${MODEL_PATH:?需要指定模型目录}"
  5. : "${SERVED_MODEL_NAME:?需要指定服务中的模型名称}"
  6. TP_SIZE="${TP_SIZE:-8}"
  7. PP_SIZE="${PP_SIZE:-1}"
  8. GPU_MEM_UTIL="${GPU_MEM_UTIL:-0.88}"
  9. MAX_MODEL_LEN="${MAX_MODEL_LEN:-32768}"
  10. MAX_NUM_SEQS="${MAX_NUM_SEQS:-64}"
  11. DTYPE="${DTYPE:-auto}"
  12. QUANTIZATION="${QUANTIZATION:-none}"
  13. SERVICE_PORT="${SERVICE_PORT:-8000}"
  14. # 推理框架启动命令,按实际框架替换 <inference-engine>
  15. <inference-engine> serve \
  16. --model "${MODEL_PATH}" \
  17. --served-model-name "${SERVED_MODEL_NAME}" \
  18. --dtype "${DTYPE}" \
  19. --quantization "${QUANTIZATION}" \
  20. --tensor-parallel-size "${TP_SIZE}" \
  21. --pipeline-parallel-size "${PP_SIZE}" \
  22. --gpu-memory-utilization "${GPU_MEM_UTIL}" \
  23. --max-model-len "${MAX_MODEL_LEN}" \
  24. --max-num-seqs "${MAX_NUM_SEQS}" \
  25. --host 0.0.0.0 --port "${SERVICE_PORT}"
配置项 作用 调整建议
MODEL_PATH 指定模型目录,包含权重、配置、分词器和对话模板 建议使用节点本地只读路径;目录不完整会导致启动失败
SERVED_MODEL_NAME 对外暴露的模型名称 与客户端请求保持一致,便于灰度期区分版本
TP_SIZE / PP_SIZE 张量并行度与流水线并行度 两者乘积应等于总卡数;TP 优先在单机内使用
DTYPE 权重与计算精度,如 BF16、FP8 与权重实际精度一致,避免二次转换
QUANTIZATION 推理量化方式 仅对未量化的权重启用;启用后必须做输出质量对比
GPU_MEM_UTIL 可用于权重、KV Cache 和运行时占用的显存比例 过高会 OOM,过低会限制并发,建议 0.85~0.90 起调
MAX_MODEL_LEN 单请求上下文长度上限 超过上限的请求应被拒绝或截断,由调用方处理
MAX_NUM_SEQS 单副本同时处理的请求数上限 由 KV Cache 容量和延迟要求决定,通过压测确定

冒烟验证要点:

  1. 观察启动日志,确认各并行组初始化完成、权重加载完毕、KV Cache 分配成功;
  2. 调用健康检查接口,确认服务就绪;
  3. 用固定的简单问题测试,确认输出符合预期。

步骤 6:编排多副本与多机部署

  1. 在容器编排平台中以多副本方式部署,副本数不少于 2,并配置反亲和,使副本分散到不同节点或可用区;
  2. 探针配置:
    • 就绪探针:调用健康检查接口,初始延迟建议设为权重加载时间的 1.5~2 倍;
    • 存活探针:只检测进程与基础响应,避免模型繁忙时被误杀;
    • 终止宽限期不小于单次最长生成时间,确保滚动更新时长请求处理完;
  3. 需要跨机流水线并行时,用多机任务方式部署,通过环境变量传递节点地址和并行组信息;
  4. 配置权重预热:新节点加入时先拉取并校验权重,再注册到负载均衡。

步骤 7:配置负载均衡与访问入口

  • 创建负载均衡实例,配置监听和后端服务器组;
  • 选择最小连接数或加权轮询调度算法,优于单纯轮询,因为推理请求的处理时长差异很大;
  • 健康检查使用就绪接口;
  • 调大空闲超时,使其大于最长生成时间,避免长输出被中断;
  • 流式输出(SSE)需确认链路各层不缓冲响应;
  • 开启访问日志,记录请求量、延迟和状态码。

安全提醒:推理服务一旦对外暴露,必须在负载均衡层或网关层启用身份认证和限流。未经认证的推理接口开放在公网上,极易被滥用,导致资源被抢占、成本失控。

步骤 8:灰度上线

  1. 先以少量流量或内部账号验证;
  2. 按 10% → 50% → 100% 逐步放量;
  3. 每个阶段观察第七节的指标,异常时快速回退;
  4. 使用同一套微调权重和参数启动新版本副本,按权重逐步替换旧版本副本,实现不停机升级。

七、上线验证

7.1 验证清单

类别 检查项 通过标准(示例,按业务设定)
可用性 负载均衡健康检查、各副本就绪 全部副本健康,无频繁重启
功能 固定测试集输出 回答完整、无乱码、格式符合对话模板
接口 流式/非流式、多轮对话、超长上下文、非法参数 行为符合预期,错误有明确返回码
性能 首字延迟、每字生成时间、吞吐、P99 满足业务 SLO,如首字延迟 P95 ≤ 2 秒
稳定性 持续压测 30~60 分钟 无 OOM、无错误率上升、显存平稳
可观测性 日志、指标、告警 能按副本区分并定位慢请求
安全 未认证请求被拒绝 限流、鉴权、敏感信息脱敏生效

7.2 压测方法

  1. 阶梯加压:
  2. 阶段 1: 并发 8, 持续 5 分钟 → 记录 P50/P95/P99、吞吐、错误率
  3. 阶段 2: 并发 16, 持续 5 分钟
  4. 阶段 3: 并发 32, 持续 10 分钟
  5. 阶段 4: 并发 64, 持续 30 分钟(稳定性)
  6. 观察指标:首字延迟、每输出 token 间隔、每秒输出 token 数、GPU 利用率、显存占用
  7. 判定:若延迟突增且吞吐不增,说明已达容量上限,需要扩容或降低单副本并发

7.3 关键性能指标

指标 含义 关注原因
首字延迟(TTFT) 从请求发出到收到第一个 token 的时间 由排队等待和输入处理阶段决定,直接影响交互体感
每 token 间隔(TPOT) 生成阶段的平均出字速度 由显存带宽和批大小决定
单用户输出速度 每秒生成 token 数 与 TPOT 互为倒数关系
系统吞吐 每秒生成的 token 总数 决定单副本能承载的并发
错误率 超时、5xx、内容审核拦截占比 反映稳定性与策略配置
KV Cache 使用率 已占用 KV Cache 占可分配量的比例 持续高位说明需要限制并发或扩容

八、常见问题与排查

问题现象 常见原因 排查与解决思路
启动时报显存不足 卡数不足、精度过高、GPU_MEM_UTIL 设置过高、其他进程占用显存 降低精度或增加卡数;调低显存利用率;清理残留进程
权重加载超时、就绪探针失败 本地盘或共享存储吞吐不足,加载时间超过探针初始延迟 改用本地高速盘;预热后扩容;上调初始延迟
输出乱码或提前结束 tokenizer 或对话模板与权重不匹配,模型目录不完整 使用与权重配套的 tokenizer 和模板;校验文件清单
首字延迟高 请求排队、输入过长、并行度过高 扩副本;限流超长输入;压测确定最优 TP/PP
生成速度低于预期 单机内通信带宽不足、TP 跨机、批处理策略不当 TP 限制在单机内;调整批处理策略;降低并行度
长文本请求报错 超出 MAX_MODEL_LEN 或 KV Cache 不足 调整上限;限制并发;按需扩卡
滚动更新时请求失败 终止宽限期过短,连接被强制断开 增大终止宽限期和负载均衡空闲超时
负载均衡摘除后端 健康检查超时,推理任务阻塞了检查 健康检查用轻量接口;设置独立超时;调大不健康阈值
显存碎片导致偶发 OOM 长稳运行后内存碎片累积 固定上下文长度上限;按框架建议的内存分配策略调优;定期重启
高并发时延迟突增 单副本并发超过容量上限 横向扩副本;调整单副本最大并发;前置限流降级

九、运维与优化

9.1 监控告警体系

层级 关键指标
基础设施 加速卡利用率、显存使用率、温度、节点 CPU、内存、磁盘、网络
服务 请求数、错误率、副本就绪数、启动耗时
推理 首字延迟、每 token 间隔、吞吐、队列长度、KV Cache 使用率
业务 按业务线的调用量、拦截率、用户反馈

告警建议分级:

  • P0:副本大面积不可用、错误率突增;
  • P1:延迟持续超 SLO、显存接近上限;
  • P2:容量水位预警,触发提前扩容评估。

9.2 稳定性保障

  • 多副本加跨可用区部署,滚动更新;
  • 超时、重试、熔断:客户端设置合理超时,对非幂等的生成请求谨慎重试,避免重复消耗;
  • 限流与降级:按租户或 API 密钥限流;高峰时对超长输入降级,如缩短上下文或切换到更小模型;
  • 定期演练节点故障和扩缩容。

9.3 性能优化方向

  • 批处理调度:优先使用推理框架的连续批处理(Continuous Batching)能力,提高 GPU 利用率;
  • 前缀复用:开启前缀缓存,让相同的系统提示共享 KV Cache,降低首字延迟;
  • 投机解码:小模型草稿加目标模型验证,在可接受的质量损失下提升生成速度;
  • 量化:权重量化降低显存占用,KV Cache 量化可提升并发;
  • 长度分层:按输入长度路由到不同副本池,避免短请求被长请求阻塞。

9.4 安全控制

  • 身份认证:API 密钥或服务账号,密钥定期轮换;
  • 最小权限:服务访问存储的权限只授予所需桶和路径;
  • 网络安全:默认不开放公网,通过负载均衡和访问控制策略限制来源;
  • 内容安全:输入输出审核,日志脱敏,禁止把用户隐私写入日志。

9.5 成本控制

  • 基准负载用预留实例,峰值用弹性实例补充;
  • 设置最小副本数,避免缩容到零导致冷启动;
  • 离线任务使用竞价实例并支持中断续跑;
  • 权重历史版本和日志按生命周期策略转低频存储或归档;
  • 定期复盘 GPU 利用率,低于阈值时合并副本或降配。

十、升级与回滚

  1. 新版本模型权重先上传对象存储并校验;
  2. 启动新版本副本,但不接入负载均衡;
  3. 内部验证通过后按权重放量;
  4. 出现异常时,立即把新版本副本权重降为 0、切回旧版本,问题副本隔离排查;
  5. 镜像、配置和模型版本都保留可追溯记录,保证任意时刻都能恢复到上一个稳定版本。

十一、总结

大参数 MoE 模型的云上部署,核心可以归纳为四件事:

  1. 算得准:用参数量和精度估算权重显存,用模型配置估算 KV Cache,再据此确定卡数和并行策略;
  2. 准备全:账号权限、网络、存储、镜像、模型校验缺一不可,其中权重校验是输出正确性的第一道防线;
  3. 配得对:并行度与卡数匹配,显存利用率、上下文长度和并发上限以压测结果为准;
  4. 运维得住:健康检查、监控告警、灰度回滚、限流鉴权构成稳定运行的底座。

按照本文的流程完成部署后,建议把显存水位、首字延迟、错误率三类指标纳入日常巡检,并在每次模型或框架升级前重做一轮压测。

发表评论

活动