多节点加速卡集群上的机器学习工作流部署实践
作者:蛮不讲李2026.11.16 11:44浏览量:0简介:本文按部署流程讲解如何在多台加速卡服务器上搭建机器学习工作流平台,涵盖验收标准、依赖组件、节点注册、密钥与存储配置、灰度发布、回滚与监控告警。每一步都给出命令、期望结果和风险提示,帮助平台工程师把训练与推理任务从单机安全扩展到多节点。
一、适用范围与验收标准
本文适用于同型号、同驱动版本的节点组成一个训练池。不同型号或不同驱动版本的节点应分属不同资源池,各池独立调度。数据并行和张量并行要求每个进程的算力与显存接近,混用后最慢节点会拖慢全局同步。
扩展节点数量能否缩短训练耗时,取决于通信带宽、数据管线和存储吞吐,不能假设线性加速。上线后应监控 NCCL 通信耗时占单步耗时的比例,以及共享存储的读取吞吐(MB/s),用这两个指标判断扩容是否有效。
部署完成时,需要满足以下三类验收标准。每一项都给出检查命令,结果应记录在部署工单中。
1. 控制面可用
控制面应有 3 个副本,全部处于就绪状态。下面的 Deployment 名称 control-plane 是示例,请替换为实际名称。
export CONTROL_API="https://control.ml.internal:8443"kubectl -n ml-system rollout status deployment/control-plane --timeout=300skubectl -n ml-system get pods -l app=control-plane -o widecurl -fsS -o /dev/null -w "%{http_code}\n" "${CONTROL_API}/healthz"
期望结果:rollout status 输出 successfully rolled out,Pod 的 READY 列为 1/1,共 3 行。健康检查返回 200。
若 rollout status 长时间不结束,依次执行 kubectl -n ml-system describe pod <pod名> 查看事件,再用 kubectl -n ml-system logs <pod名> --previous 查看上一次容器的日志。常见原因是镜像拉取失败、探针超时或依赖的元数据库连接失败。
2. 工作节点可调度加速卡
训练池节点应为 Ready,且每个节点可分配的加速卡数量与规划一致。下面的 nvidia.com/gpu 是 NVIDIA 设备插件的资源名。其他厂商请以其设备插件文档为准。
kubectl get nodes -l pool=trainkubectl get nodes -l pool=train -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.status.allocatable.nvidia\.com/gpu}{"\n"}{end}'
期望结果:每个节点的 STATUS 为 Ready,第二条命令输出的每行加速卡数量与规划表一致,例如每台 8 张卡则显示 8。
不要使用 kubectl describe | grep -A6 Allocatable 这类依赖固定行数的写法。Allocatable 段的行数随资源种类变化,结果容易漏读。
3. 服务入口受控
推理入口应拒绝未授权请求,并对超过阈值的请求返回限流响应。
未带令牌访问时,应返回 401:
curl -s -o /dev/null -w "%{http_code}\n" https://serve.ml.internal/v1/models/demo/infer
限流验证需要使用专门的测试令牌,并且只能在你有权限的测试服务上执行。令牌从文件或密钥管理系统读取,不要写在命令行参数中。限流阈值以网关配置为准,下面的示例假设阈值为每令牌每分钟 100 次,请按实际配置调整请求数量。
export SERVE_TOKEN="$(cat /run/secrets/serve_test_token)"for i in $(seq 1 150); docurl -s -o /dev/null -w "%{http_code}\n" \-H "Authorization: Bearer ${SERVE_TOKEN}" \-H "Content-Type: application/json" \-X POST https://serve.ml.internal/v1/models/demo/infer -d '{}'done | sort | uniq -cunset SERVE_TOKEN
期望结果:输出中同时出现 200(或模型对空输入的业务响应)和 429,且 429 的次数与阈值超出的请求数大致吻合。若网关从未返回 429,应检查限流规则是否绑定到该路由,以及计数维度是否按令牌划分。
二、组件依赖与隔离方式
控制面接收任务、保存状态并下发调度决定。节点代理向控制面注册,上报加速卡资源,并在本机拉起任务容器。任务容器通过数据网通信,通过共享存储读取数据和写入检查点。
部署前应确认下表中每个组件都已就绪。
| 组件 | 作用 | 部署位置 | 部署前检查 |
|---|---|---|---|
| 控制面 | 接收任务、保存状态、下发调度 | ml-system 命名空间,3 副本 | 副本数、健康检查 |
| 节点代理 | 注册节点、上报加速卡、拉起容器 | 每个工作节点 | 版本与控制面兼容 |
| 容器运行时 | 运行任务容器 | 每个工作节点 | 与设备插件版本匹配 |
| 设备插件 | 上报 nvidia.com/gpu 资源 |
每个工作节点(DaemonSet) | 与驱动版本匹配 |
| 共享存储 | 保存数据集和检查点 | 挂载到所有训练节点 | 挂载点、读写权限 |
| 密钥管理 | 保存令牌和存储凭据 | 独立服务 | 访问策略最小化 |
| 元数据库 | 保存任务状态和实验记录 | 独立实例 | 备份策略、连接数上限 |
隔离方式按以下原则设计:
- 管理网与数据网分离。控制面和节点代理走管理网,训练通信走数据网,两者使用不同网段。
- 节点代理使用专用 ServiceAccount,只授予节点注册和 Pod 创建所需的最小 RBAC 权限,不授予集群管理员权限。
- 密钥通过 Secret 挂载或密钥管理系统注入,不写入镜像、代码仓库或 shell 历史。共享存储的凭据只授予所需路径的读写权限。
三、版本匹配
在节点上执行以下命令,记录驱动版本,并与训练池的版本表比对。
NODE=$(kubectl get nodes -l pool=train -o name | head -1)kubectl debug "$NODE" -it --image=nvidia/cuda:12.2.0-base-ubuntu22.04 -- nvidia-smi --query-gpu=name,driver_version --format=csv,noheader
这里的镜像标签 12.2.0 只是示例。请以训练镜像内 CUDA 运行时版本为准,并按厂商兼容表核对驱动版本。
版本匹配需要同时核对四项:
- 驱动版本与 CUDA 运行时版本兼容。
- 设备插件版本支持当前驱动和 Kubernetes 版本。
- 容器运行时能正确透传 GPU 设备。
- 节点代理版本能与控制面通信。
任意一项不一致时,该节点不应加入训练池,应先升级或降级,再重新注册。
四、节点初始化与控制面注册
节点加入训练池前,先打上标签,便于调度和后续排查。
export NODE="node-train-01"kubectl label node "$NODE" pool=train gpu-model=<型号> driver=<驱动版本> --overwrite
将 <型号> 和 <驱动版本> 替换为实际值。标签值中不要包含空格和特殊字符。
节点代理启动后会向控制面注册。注册成功后,应能在控制面看到该节点,并且节点资源与规划一致。
journalctl -u ml-node-agent --since "10 min ago" | grep -i registerkubectl get nodes -l pool=train
期望结果:日志中出现注册成功记录,节点状态为 Ready。若注册失败,先检查节点代理配置中的控制面地址、证书链和时间同步。时间偏差较大时,TLS 握手会失败,日志中通常会出现证书校验错误。
五、存储与密钥配置
共享存储必须在所有训练节点上挂载到同一路径。路径不一致时,同一任务在不同节点上读到的数据会不同。
findmnt /data/sharedTEST_FILE="/data/shared/.mount_check_${RANDOM}"touch "$TEST_FILE" && rm -f "$TEST_FILE"
期望结果:findmnt 显示挂载类型和挂载点,touch 与 rm 无报错。测试文件只用于检查写权限,检查后立即删除。
密钥配置遵循以下要求:
- 训练任务只读取数据目录,只能写入指定的检查点目录。
- 令牌和存储凭据从密钥管理系统注入,不使用
kubectl create secret --from-literal直接在命令行传入明文,因为参数会留在 shell 历史和进程列表中。 - 轮换密钥时,先发布新密钥,确认所有任务使用新密钥后,再撤销旧密钥。
六、灰度验证
新版本推理服务应分阶段放量:先放 1 个副本,再放 10%,最后全量。每一阶段都要观察错误率、延迟和 GPU 利用率,确认无异常后再进入下一阶段。
kubectl apply -f serve-canary.yamlkubectl -n serve rollout status deployment/demo-canary --timeout=300skubectl -n serve get pods -l track=canary -w
中止条件应在放量前写入工单,并由团队根据基线定义具体阈值。常见的中止条件包括:
- 5xx 错误率明显高于上一版本的基线。
- P99 延迟超过 SLO 且持续数分钟。
- 429 比例突然升高,可能是客户端重试风暴或限流规则错误。
- 任务失败率上升,且失败原因集中在同一批节点上。
中止灰度时,先将灰度副本缩容,再恢复流量路由。
kubectl -n serve scale deployment/demo-canary --replicas=0
七、回滚流程
回滚触发条件
以下任一情况出现时,应执行回滚:
- 控制面副本反复重启,或健康检查持续失败。
- 节点注册后大量进入 NotReady。
- 灰度阶段的中止条件被触发,且无法在 15 分钟内定位和修复。
版本回退
先查看历史版本,再回退到指定版本。
kubectl -n ml-system rollout history deployment/control-planekubectl -n ml-system rollout undo deployment/control-plane --to-revision=<版本号>kubectl -n ml-system rollout status deployment/control-plane --timeout=300s
<版本号> 应从 rollout history 的输出中选择,并在工单中记录。
数据与检查点兼容性
回退控制面和节点代理通常不影响已有数据,但仍需检查以下内容:
- 元数据库表结构是否与旧版本兼容。如果新版本执行过不可逆的迁移,回退前必须先恢复备份,而不是直接回滚应用。
- 检查点元数据中记录的框架版本。旧版本通常无法加载新版本保存的检查点,恢复训练前应先核对版本号。
- 回滚前对元数据库做全量备份。以 PostgreSQL 为例,可以执行
pg_dump并验证备份文件可以恢复。
回滚后,应重新执行第一节的三项验收命令,确认结果与验收标准一致。
八、监控告警与故障隔离
监控指标
以下指标应纳入监控面板:
- GPU 利用率:若使用 dcgm-exporter,可关注
DCGM_FI_DEV_GPU_UTIL。 - 节

登录后可评论,请前往 登录 或 注册