异构计算平台部署全流程:从规划到上线验证
作者:问答酱2026.11.18 11:39浏览量:0简介:本文以通用方法梳理异构计算平台(CPU与GPU协同)的部署流程,涵盖资源规划、环境检查、镜像与服务配置、上线验证和常见故障排查。读者可获得可直接套用的检查项、验证判据和排错思路,用于降低上线风险和运维成本。
异构计算平台由 CPU 节点、GPU 节点、高速网络、共享存储、调度编排和监控系统组成。部署时要先弄清每类节点的职责。CPU 节点负责调度、数据预处理和服务编排,GPU 节点承担矩阵运算、模型推理和训练等并行负载。两类节点角色混用,常见后果是普通服务占用了 GPU 节点,或者 CPU 预处理拖慢了整条数据链路。
数据通常从存储层读出,经 CPU 节点预处理后,通过高速网络送到 GPU 节点计算,结果再写回存储。调度层需要知道每个节点有多少张 GPU,这个信息由设备插件上报给调度器。如果设备插件没有正常工作,调度器看不到 GPU 资源,任务会一直处于等待状态。
一、部署前的资源规划
资源规划决定了后续所有步骤的上限。建议按下面几个维度逐项估算。
显存:单卡显存需求可以粗略按“参数量乘以每参数字节数,再加上激活值和缓存开销”估算。以 70 亿参数的模型为例,FP16 精度下权重约占 14 GB,推理时还要为 KV Cache 预留空间,实际需求通常高于权重本身。估算结果应留出 20% 左右的余量。
副本数:推理服务的副本数可按“峰值请求量除以单副本吞吐,再乘以 1.2 的余量”计算。单副本吞吐要用真实样本压测得到,不能直接采用厂商的理论数值。
存储:训练数据缓存和中间结果需要高读写带宽的存储,模型归档和日志适合大容量、低成本的存储。两者应分开挂载,避免日志写入挤占训练数据的读取带宽。
网络:多卡训练对节点间带宽敏感。如果带宽不足,GPU 会花大量时间等待通信,利用率看起来低,但原因在网络。
弹性策略:需要明确扩容上限和缩容条件。没有上限的扩容可能耗尽预算,没有缩容条件的服务会长期占用空闲 GPU。
二、环境一致性检查
开发、测试和生产环境应尽量保持一致。下面几项最容易造成“本地能跑,线上报错”的问题。
- GPU 驱动版本与容器运行时要求的版本是否匹配,应对照框架的支持矩阵核对。
- 操作系统内核参数,例如文件句柄数(
ulimit -n)和网络缓冲区大小,需要满足高并发要求。 - 时间同步服务是否正常运行(
timedatectl status中System clock synchronized应为yes),否则日志时间戳无法对齐。 - 镜像仓库地址是否指向内部可信仓库,避免从公网拉取未经审核的镜像。
以 NVIDIA 驱动为例,可在节点上执行下面的命令确认 GPU 状态:
nvidia-smi --query-gpu=index,name,driver_version,memory.total --format=csv
正常情况下,输出的 GPU 数量与规划一致,驱动版本符合框架要求。如果命令报错,例如提示 couldn't communicate with the NVIDIA driver,说明驱动没有加载。此时应停止后续部署,先修复驱动。
三、权限与网络准备
部署账号只需要节点接入、镜像拉取、配置下发和日志查看等权限。部署账号拥有集群管理员权限,一旦凭据泄露,影响范围会扩大到整个集群。
网络策略需要明确哪些服务对外开放,哪些仅限内网访问。对外服务应启用 HTTPS,并配置访问白名单。证书到期会导致入口不可用,应把证书有效期纳入巡检项。
四、镜像与服务描述
镜像应基于内部可信仓库中的稳定基础镜像构建,依赖按变化频率分层,把不常变化的依赖放在底层,以提高构建缓存的命中率。镜像中不能包含密钥,密钥在运行时通过 Secret 注入。镜像标签必须使用不可变的版本号,例如 1.4.2,不要使用 latest,否则无法确定回滚目标。
以 Kubernetes 为例,下面是一份推理服务的部署描述。GPU 资源必须写在 limits 中,调度器会据此分配设备。
apiVersion: apps/v1kind: Deploymentmetadata:name: inference-servicespec:replicas: 2selector:matchLabels:app: inference-servicetemplate:metadata:labels:app: inference-servicespec:containers:- name: serverimage: registry.internal.example.com/inference:1.4.2ports:- containerPort: 8080resources:requests:cpu: "4"memory: 16Gilimits:cpu: "4"memory: 16Ginvidia.com/gpu: 1env:- name: MODEL_PATHvalue: /models/currentreadinessProbe:httpGet:path: /health/readyport: 8080initialDelaySeconds: 20periodSeconds: 10livenessProbe:httpGet:path: /health/liveport: 8080initialDelaySeconds: 60periodSeconds: 20
使用 kubectl apply -f inference.yaml 提交配置,再用 kubectl rollout status deployment/inference-service 观察发布进度。readinessProbe 的 initialDelaySeconds 要大于模型加载时间。设置过短,服务还没加载完模型就被判定为未就绪,会反复重启。
五、上线验证
服务进程启动不代表部署成功。验证应覆盖下面几个层面。
| 验证项 | 检查方法 | 通过判据 |
|---|---|---|
| 副本状态 | kubectl get pods -l app=inference-service |
所有 Pod 为 Running,READY 为 1/1 |
| 健康检查 | curl -s -o /dev/null -w "%{http_code}" http://服务地址/health/ready |
返回 200 |
| 功能结果 | 用固定测试样本调用推理接口 | 输出与基准结果的偏差在约定范围内 |
| GPU 占用 | 在 GPU 节点执行 nvidia-smi |
显存占用与模型大小相符,没有遗留的旧进程 |
| 应用日志 | kubectl logs deploy/inference-service --tail=200 |
没有 CUDA error、out of memory 等错误关键字 |
| 监控指标 | 查询监控系统中的服务指标 | 指标持续上报,告警规则处于生效状态 |
功能验证使用固定样本,便于前后对比。每次发布都使用同一组样本,结果变化就能直接反映模型或环境的改动。
六、常见故障排查
1. Pod 长时间处于 Pending 状态
执行 kubectl describe pod <Pod名称>,查看 Events。若出现 Insufficient nvidia.com/gpu,说明没有节点有足够的空闲 GPU。可执行 kubectl describe node <节点名>,核对 Allocatable 和 Allocated resources 中的 GPU 数量。处理时应降低副本数或释放本服务自己占用的资源,不要为腾出资源而删除其他服务的 Pod。
2. 容器内看不到 GPU
日志中出现 no devices found 或 nvidia-smi 报错时,依次检查三处:设备插件 DaemonSet 是否全部正常运行;节点本身的 nvidia-smi 是否正常;容器运行时是否启用了 NVIDIA 运行时。设备插件与驱动版本不匹配是这类问题的常见原因。
3. 出现 CUDA out of memory
日志中会出现 CUDA out of memory。先在 GPU 节点执行 nvidia-smi,查看 Processes 列表,确认是否有残留的旧进程占用显存。确认无残留后,再考虑降低批大小、限制并发请求数,或者改用显存更大的卡。
4. 接口响应超时
先看延迟分布,重点关注 P99 而不是平均值。再结合 GPU 利用率和请求队列长度判断瓶颈位置。如果 CPU 占用高而 GPU 利用率低,瓶颈多在数据预处理或 IO。如果 GPU 利用率持续接近 100%,应增加副本或启用限流。
5. 监控数据缺失
依次确认采集组件是否在运行,指标端口能否从采集端访问(例如 curl http://节点地址:指标端口/metrics),采集账号是否具备读取权限。三项都正常时,再检查指标名称是否在监控侧做过改动。
回滚前的注意事项:回滚会中断正在处理的请求。回滚前先确认上一版本镜像仍然存在于仓库中,并尽量采用灰度方式逐步切换。
七、稳定性、安全与成本
稳定性:为每个容器设置资源上限,防止单个任务耗尽节点资源。关键服务的副本应通过反亲和调度分散到不同节点,避免一台节点故障导致服务全部中断。
安全:密钥应通过 Secret 或密钥管理服务注入。注入失败时,服务常以认证错误的形式启动失败,排查时先确认 Secret 存在于正确的命名空间。对外服务需要加密传输,并记录所有变更操作的人员和时间。
关闭服务的风险:部署前清理节点上的服务时,要确认 kubelet、容器运行时、网络插件和时间同步服务不在关闭范围内。误关这些服务会导致节点失去调度能力,或者网络中断。
性能:扩容前先看资源利用率。如果 GPU 利用率持续高于 80%,同时请求排队时间在增长,扩副本才有效果。否则应先排查预处理或 IO 瓶颈。
成本:GPU 闲置是成本浪费的主要来源。可以把连续 24 小时平均利用率低于 10% 的实例列为缩容候选,再结合业务高峰时段决定是否缩容。该阈值只是起点,需要按实际业务调整。
八、上线检查清单
- 节点数量、GPU 型号与驱动版本符合规划
- 镜像使用不可变版本标签,上一版本镜像可以拉取
- 健康检查返回正常,功能样本结果符合基准
- 应用日志中没有 CUDA 错误和内存溢出关键字
- 监控指标可以正常采集,告警规则已生效
- 回滚步骤已经演练,负责人已确认

登录后可评论,请前往 登录 或 注册