logo

异构计算平台部署全流程:从规划到上线验证

作者:问答酱2026.11.18 11:39浏览量:0

简介:本文以通用方法梳理异构计算平台(CPU与GPU协同)的部署流程,涵盖资源规划、环境检查、镜像与服务配置、上线验证和常见故障排查。读者可获得可直接套用的检查项、验证判据和排错思路,用于降低上线风险和运维成本。

异构计算平台由 CPU 节点、GPU 节点、高速网络、共享存储、调度编排和监控系统组成。部署时要先弄清每类节点的职责。CPU 节点负责调度、数据预处理和服务编排,GPU 节点承担矩阵运算、模型推理和训练等并行负载。两类节点角色混用,常见后果是普通服务占用了 GPU 节点,或者 CPU 预处理拖慢了整条数据链路。

数据通常从存储层读出,经 CPU 节点预处理后,通过高速网络送到 GPU 节点计算,结果再写回存储。调度层需要知道每个节点有多少张 GPU,这个信息由设备插件上报给调度器。如果设备插件没有正常工作,调度器看不到 GPU 资源,任务会一直处于等待状态。

一、部署前的资源规划

资源规划决定了后续所有步骤的上限。建议按下面几个维度逐项估算。

显存:单卡显存需求可以粗略按“参数量乘以每参数字节数,再加上激活值和缓存开销”估算。以 70 亿参数的模型为例,FP16 精度下权重约占 14 GB,推理时还要为 KV Cache 预留空间,实际需求通常高于权重本身。估算结果应留出 20% 左右的余量。

副本数:推理服务的副本数可按“峰值请求量除以单副本吞吐,再乘以 1.2 的余量”计算。单副本吞吐要用真实样本压测得到,不能直接采用厂商的理论数值。

存储:训练数据缓存和中间结果需要高读写带宽的存储,模型归档和日志适合大容量、低成本的存储。两者应分开挂载,避免日志写入挤占训练数据的读取带宽。

网络:多卡训练对节点间带宽敏感。如果带宽不足,GPU 会花大量时间等待通信,利用率看起来低,但原因在网络。

弹性策略:需要明确扩容上限和缩容条件。没有上限的扩容可能耗尽预算,没有缩容条件的服务会长期占用空闲 GPU。

二、环境一致性检查

开发、测试和生产环境应尽量保持一致。下面几项最容易造成“本地能跑,线上报错”的问题。

  • GPU 驱动版本与容器运行时要求的版本是否匹配,应对照框架的支持矩阵核对。
  • 操作系统内核参数,例如文件句柄数(ulimit -n)和网络缓冲区大小,需要满足高并发要求。
  • 时间同步服务是否正常运行(timedatectl status 中 System clock synchronized 应为 yes),否则日志时间戳无法对齐。
  • 镜像仓库地址是否指向内部可信仓库,避免从公网拉取未经审核的镜像。

以 NVIDIA 驱动为例,可在节点上执行下面的命令确认 GPU 状态:

  1. nvidia-smi --query-gpu=index,name,driver_version,memory.total --format=csv

正常情况下,输出的 GPU 数量与规划一致,驱动版本符合框架要求。如果命令报错,例如提示 couldn't communicate with the NVIDIA driver,说明驱动没有加载。此时应停止后续部署,先修复驱动。

三、权限与网络准备

部署账号只需要节点接入、镜像拉取、配置下发和日志查看等权限。部署账号拥有集群管理员权限,一旦凭据泄露,影响范围会扩大到整个集群。

网络策略需要明确哪些服务对外开放,哪些仅限内网访问。对外服务应启用 HTTPS,并配置访问白名单。证书到期会导致入口不可用,应把证书有效期纳入巡检项。

四、镜像与服务描述

镜像应基于内部可信仓库中的稳定基础镜像构建,依赖按变化频率分层,把不常变化的依赖放在底层,以提高构建缓存的命中率。镜像中不能包含密钥,密钥在运行时通过 Secret 注入。镜像标签必须使用不可变的版本号,例如 1.4.2,不要使用 latest,否则无法确定回滚目标。

以 Kubernetes 为例,下面是一份推理服务的部署描述。GPU 资源必须写在 limits 中,调度器会据此分配设备。

  1. apiVersion: apps/v1
  2. kind: Deployment
  3. metadata:
  4. name: inference-service
  5. spec:
  6. replicas: 2
  7. selector:
  8. matchLabels:
  9. app: inference-service
  10. template:
  11. metadata:
  12. labels:
  13. app: inference-service
  14. spec:
  15. containers:
  16. - name: server
  17. image: registry.internal.example.com/inference:1.4.2
  18. ports:
  19. - containerPort: 8080
  20. resources:
  21. requests:
  22. cpu: "4"
  23. memory: 16Gi
  24. limits:
  25. cpu: "4"
  26. memory: 16Gi
  27. nvidia.com/gpu: 1
  28. env:
  29. - name: MODEL_PATH
  30. value: /models/current
  31. readinessProbe:
  32. httpGet:
  33. path: /health/ready
  34. port: 8080
  35. initialDelaySeconds: 20
  36. periodSeconds: 10
  37. livenessProbe:
  38. httpGet:
  39. path: /health/live
  40. port: 8080
  41. initialDelaySeconds: 60
  42. periodSeconds: 20

使用 kubectl apply -f inference.yaml 提交配置,再用 kubectl rollout status deployment/inference-service 观察发布进度。readinessProbe 的 initialDelaySeconds 要大于模型加载时间。设置过短,服务还没加载完模型就被判定为未就绪,会反复重启。

五、上线验证

服务进程启动不代表部署成功。验证应覆盖下面几个层面。

验证项 检查方法 通过判据
副本状态 kubectl get pods -l app=inference-service 所有 Pod 为 Running,READY 为 1/1
健康检查 curl -s -o /dev/null -w "%{http_code}" http://服务地址/health/ready 返回 200
功能结果 用固定测试样本调用推理接口 输出与基准结果的偏差在约定范围内
GPU 占用 在 GPU 节点执行 nvidia-smi 显存占用与模型大小相符,没有遗留的旧进程
应用日志 kubectl logs deploy/inference-service --tail=200 没有 CUDA error、out of memory 等错误关键字
监控指标 查询监控系统中的服务指标 指标持续上报,告警规则处于生效状态

功能验证使用固定样本,便于前后对比。每次发布都使用同一组样本,结果变化就能直接反映模型或环境的改动。

六、常见故障排查

1. Pod 长时间处于 Pending 状态

执行 kubectl describe pod <Pod名称>,查看 Events。若出现 Insufficient nvidia.com/gpu,说明没有节点有足够的空闲 GPU。可执行 kubectl describe node <节点名>,核对 Allocatable 和 Allocated resources 中的 GPU 数量。处理时应降低副本数或释放本服务自己占用的资源,不要为腾出资源而删除其他服务的 Pod。

2. 容器内看不到 GPU

日志中出现 no devices found 或 nvidia-smi 报错时,依次检查三处:设备插件 DaemonSet 是否全部正常运行;节点本身的 nvidia-smi 是否正常;容器运行时是否启用了 NVIDIA 运行时。设备插件与驱动版本不匹配是这类问题的常见原因。

3. 出现 CUDA out of memory

日志中会出现 CUDA out of memory。先在 GPU 节点执行 nvidia-smi,查看 Processes 列表,确认是否有残留的旧进程占用显存。确认无残留后,再考虑降低批大小、限制并发请求数,或者改用显存更大的卡。

4. 接口响应超时

先看延迟分布,重点关注 P99 而不是平均值。再结合 GPU 利用率和请求队列长度判断瓶颈位置。如果 CPU 占用高而 GPU 利用率低,瓶颈多在数据预处理或 IO。如果 GPU 利用率持续接近 100%,应增加副本或启用限流。

5. 监控数据缺失

依次确认采集组件是否在运行,指标端口能否从采集端访问(例如 curl http://节点地址:指标端口/metrics),采集账号是否具备读取权限。三项都正常时,再检查指标名称是否在监控侧做过改动。

回滚前的注意事项:回滚会中断正在处理的请求。回滚前先确认上一版本镜像仍然存在于仓库中,并尽量采用灰度方式逐步切换。

七、稳定性、安全与成本

稳定性:为每个容器设置资源上限,防止单个任务耗尽节点资源。关键服务的副本应通过反亲和调度分散到不同节点,避免一台节点故障导致服务全部中断。

安全:密钥应通过 Secret 或密钥管理服务注入。注入失败时,服务常以认证错误的形式启动失败,排查时先确认 Secret 存在于正确的命名空间。对外服务需要加密传输,并记录所有变更操作的人员和时间。

关闭服务的风险:部署前清理节点上的服务时,要确认 kubelet、容器运行时、网络插件和时间同步服务不在关闭范围内。误关这些服务会导致节点失去调度能力,或者网络中断。

性能:扩容前先看资源利用率。如果 GPU 利用率持续高于 80%,同时请求排队时间在增长,扩副本才有效果。否则应先排查预处理或 IO 瓶颈。

成本:GPU 闲置是成本浪费的主要来源。可以把连续 24 小时平均利用率低于 10% 的实例列为缩容候选,再结合业务高峰时段决定是否缩容。该阈值只是起点,需要按实际业务调整。

八、上线检查清单

  • 节点数量、GPU 型号与驱动版本符合规划
  • 镜像使用不可变版本标签,上一版本镜像可以拉取
  • 健康检查返回正常,功能样本结果符合基准
  • 应用日志中没有 CUDA 错误和内存溢出关键字
  • 监控指标可以正常采集,告警规则已生效
  • 回滚步骤已经演练,负责人已确认

发表评论

活动