logo

GPU算力服务上线指南:从环境准备到AI应用发布

作者:KAKAKA2026.11.18 11:40浏览量:0

简介:本文按顺序讲解在云上部署GPU推理服务的全过程,包括前置条件核对、镜像构建、模型挂载、服务启动、负载均衡配置和上线验收。文中给出可执行的检查命令、Dockerfile与探针配置,并说明如何依据压测结果设定验收阈值。读者可据此减少试错,首次部署即可稳定上线。

一、适用范围与读者收益

本文面向后端开发者、算法工程师和运维人员,讲解如何在云服务器或容器集群上部署一个可供业务调用的GPU推理服务。文章以容器化部署为主线,因为容器镜像能保证开发、测试和生产环境的依赖一致。

读完本文,你可以完成以下工作:

  • 确认GPU节点的驱动、容器运行时和设备可见性;
  • 构建包含锁定依赖的推理镜像,并推送到镜像仓库;
  • 以只读方式挂载模型文件,并通过密钥服务注入访问凭证;
  • 配置健康检查,让服务在模型加载完成后再接收流量;
  • 用压测数据确定验收阈值,并按步骤放量上线。

本文不覆盖大规模训练集群的调度细节。训练任务的断点续训和分布式通信需要单独规划。

二、前置条件矩阵

部署失败多数源于环境版本不匹配。开始前,请逐项确认下表内容。缺任一项,后续步骤都可能无法完成。

检查项 推荐做法 验证方式 缺失时的后果
NVIDIA驱动 CUDA 12.1 要求驱动不低于 530.30.02,驱动版本需不低于镜像所用CUDA版本的最低要求 nvidia-smi 查看 Driver Version 容器内报 CUDA driver version is insufficient
容器运行时 安装 nvidia-container-toolkit,并将其注册到 Docker 或 containerd nvidia-ctk --version;`docker info \ grep -i runtime` 容器内看不到GPU设备
权限角色 为部署流程创建独立子账号,只授予镜像拉取、实例操作和密钥读取权限 在云控制台检查策略绑定 权限过大增加泄露风险,权限过小导致中途失败
网络端口 服务端口仅对负载均衡所在网段开放 检查安全组规则 健康检查失败或服务被公网直接访问
模型文件 每个模型版本带校验和文件 sha256sum -c model.sha256 加载到损坏文件,表现为推理结果异常
密钥注入 凭证以文件形式挂载,或由密钥服务在运行时下发 检查容器内只读挂载路径 凭证写入镜像或代码仓库,存在泄露风险

版本号需要和你的云平台、镜像仓库中的实际可用版本核对,不能直接照搬本文示例。

三、部署场景与资源规划

部署前先确定服务类型,因为不同场景对显存、延迟和成本的要求差别很大。

场景 主要约束 常见部署形态 扩缩容策略
在线推理 延迟和可用性 常驻服务,多副本,前置负载均衡 按QPS或GPU利用率自动扩缩
离线批量 单位成本 定时任务或队列消费者,可使用抢占式实例 按队列深度启停
训练与微调 显存容量和任务连续性 批量任务,依赖检查点存储 按任务排队情况调整

显存是推理服务最先遇到的瓶颈。模型权重按参数量乘以每参数字节数估算。例如 7B 参数模型使用 FP16 时,权重约占 14 GB。此外还需要预留推理时的激活值和 KV 缓存空间。这些额外开销随并发数和最大序列长度增长,因此最终选型应以实测为准。

推荐的规划顺序是:先在单卡上验证功能,测得单实例在目标延迟下的最大吞吐,再用目标QPS除以该吞吐得到实例数,最后配置弹性伸缩和容量余量。

四、架构与依赖关系

一套典型的GPU推理服务包含五层:

  1. 接入层:负载均衡接收外部请求,负责HTTPS证书和域名解析;
  2. 服务层:容器化推理进程,部署在GPU节点上;
  3. 数据层:对象存储保存模型文件,本地缓存保存已加载的模型;
  4. 观测层:采集日志、指标和健康状态;
  5. 安全层:管理访问凭证、网络规则和镜像权限。

依赖关系有顺序要求。服务层必须先拿到模型文件,才能通过健康检查。接入层只能在健康检查通过后,才能把流量转发给服务实例。观测层需要覆盖从接入层到服务层的所有节点,否则故障定位会缺少数据。

五、部署步骤

步骤1:确认GPU节点可用

在GPU节点上依次执行以下命令。第一条确认驱动正常,第二条确认显卡型号和显存大小,第三条确认容器能访问GPU。

  1. nvidia-smi
  2. nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv
  3. docker run --rm --gpus all nvidia/cuda:12.1.1-base-ubuntu22.04 nvidia-smi

第三条命令中的镜像标签需要与你节点的驱动版本兼容。如果命令报错,先检查 nvidia-container-toolkit 是否已安装并已在 Docker 中配置。

如果使用Kubernetes,改用以下命令检查节点上的GPU资源:

  1. kubectl describe node <节点名> | grep -A3 "nvidia.com/gpu"
  2. kubectl get pods -n kube-system | grep -i nvidia

第一条命令中,nvidia.com/gpu 的 Allocatable 值应大于 0。第二条命令应能看到设备插件的 Pod 处于 Running 状态。

步骤2:构建并推送镜像

以下 Dockerfile 使用 PyTorch 官方运行时镜像作为基础镜像。标签中的 CUDA 版本需要和步骤1确认的驱动版本一致。

  1. # 基础镜像的 CUDA 版本需与节点驱动兼容
  2. FROM pytorch/pytorch:2.3.0-cuda12.1-cudnn8-runtime
  3. WORKDIR /app
  4. # 依赖清单应由锁定工具生成,保证每次构建版本一致
  5. COPY requirements.lock .
  6. RUN pip install --no-cache-dir -r requirements.lock
  7. COPY src/ ./src/
  8. EXPOSE 8080
  9. ENTRYPOINT ["python", "src/server.py", "--port", "8080"]

如果镜像体积较大,可把依赖安装放在构建阶段,运行阶段只复制已安装的包和源码。构建和推送命令如下,其中仓库地址需替换为你自己的仓库:

  1. docker build -t registry.example.com/ai/infer:1.4.2 .
  2. docker push registry.example.com/ai/infer:1.4.2

镜像标签应使用版本号,不要只用 latest。这样回滚时才能明确指定旧版本。

步骤3:准备模型文件

把模型文件下载到本地数据盘,并校验完整性。下面的命令以 rclone 为例,远端名称 remote 需替换为你配置的对象存储名称:

  1. mkdir -p /data/models/llm-7b-v3
  2. rclone copy remote:models/llm-7b-v3 /data/models/llm-7b-v3 --checksum
  3. cd /data/models/llm-7b-v3 && sha256sum -c model.sha256

校验失败时不要启动服务。先重新下载,确认校验通过后再继续。

步骤4:启动容器

访问凭证以文件形式挂载,不通过 -e 参数传入。docker inspect 能看到环境变量的值,文件挂载的方式可以减少这一暴露面。

  1. docker run -d --name infer \
  2. --gpus '"device=0"' \
  3. -p 127.0.0.1:8080:8080 \
  4. -e MODEL_PATH=/models/llm-7b-v3 \
  5. -e MAX_CONCURRENCY=8 \
  6. -e REQUEST_TIMEOUT_S=30 \
  7. -v /data/models:/models:ro \
  8. -v /etc/infer/secrets/os_token:/run/secrets/os_token:ro \
  9. registry.example.com/ai/infer:1.4.2

参数说明:--gpus '"device=0"' 指定使用第一块显卡;:ro 表示只读挂载,容器无法修改模型文件;端口绑定到 127.0.0.1,外部流量只能经由负载均衡进入。

模型加载通常需要几十秒到几分钟。用下面的循环等待健康检查通过:

  1. for i in $(seq 1 60); do
  2. curl -sf http://127.0.0.1:8080/healthz && echo "ready" && break
  3. sleep 5
  4. done

如果循环超时仍未就绪,查看日志:

  1. docker logs --tail 200 infer

日志中常见的关键字包括 No such file or directory(模型路径错误)、Failed to load(模型格式或校验问题)和 CUDA out of memory(显存不足)。

步骤5:配置负载均衡和网络规则

在 Kubernetes 中,就绪探针的等待时间需要覆盖模型加载时间。下面是一段示例配置:

  1. readinessProbe:
  2. httpGet:
  3. path: /healthz
  4. port: 8080
  5. initialDelaySeconds: 90
  6. periodSeconds: 10
  7. failureThreshold: 3

initialDelaySeconds 应设为压测中测得的最长加载时间,再加上一定余量。

安全组建议按下列方式配置:

  • 443 端口对公网开放,只绑定在负载均衡上;
  • 8080 端口只允许负载均衡所在子网访问;
  • 22 端口只允许运维跳板机的地址访问。

证书配置完成后,检查有效期:

  1. openssl s_client -connect api.example.com:443 -servername api.example.com </dev/null 2>/dev/null | openssl x509 -noout -dates

步骤6:验证并逐步放量

先用内部地址完成功能测试,确认返回结果与测试环境一致。然后按比例放量,例如先放 5% 的流量,观察 30 分钟,再依次放到 25%、50% 和 100%。每一档都要检查错误率和延迟。出现异常时,先把流量切回旧版本,再排查原因。

六、上线验收

本节的阈值需要根据你的模型、批处理策略和延迟目标确定,不能直接套用。推荐做法是:先压测得到基线,再把基线写入验收标准。

压测可以使用 hey 工具。下面的命令模拟 16 个并发连接,持续 5 分钟,请求体从文件读取:

  1. hey -z 5m -c 16 -m POST -T application/json -D payload.json http://127.0.0.1:8080/v1/infer

GPU利用率的采样方法如下。每 5 秒采样一次,持续 5 分钟以上,取平均值和峰值:

  1. nvidia-smi dmon -s u -d 5

验收项目建议参考下表:

指标 采集方式 验收条件
功能正确性 固定样本回放,比对输出 与测试环境结果一致
P99 延迟 hey 压测输出 不超过业务 SLO,阈值由压测结果给出
错误率 应用指标或网关日志 在放量期间低于约定上限
GPU 利用率 nvidia-smi dmon 或 DCGM 在目标负载下处于压测确定的合理区间
显存占用 nvidia-smi 峰值留有余量,不触发 OOM
健康检查 探针日志 单副本重启后能自动恢复

GPU 利用率过低通常意味着瓶颈在前处理或 IO,过高则可能导致排队超时。两种情况都需要结合延迟数据判断,不能只看单一指标。

七、常见问题与排查

容器里看不到GPU怎么办?

先在宿主机执行 nvidia-smi。宿主机正常时,再执行步骤1中的容器测试命令。如果容器测试失败,检查 nvidia-container-toolkit 的配置:

  1. nvidia-ctk runtime configure --runtime=docker
  2. sudo systemctl restart docker

修改后重启 Docker 会中断该节点上所有容器,请先确认影响范围。

显存不足怎么办?

先查看占用显存的进程:

  1. nvidia-smi --query-compute-apps=pid,used_memory --format=csv

日志中出现 CUDA out of memory 时,按以下顺序处理:降低 MAX_CONCURRENCY,限制最大序列长度,或改用更大显存的显卡。不要在未确认模型行为的情况下直接修改推理代码。

健康检查一直失败怎么办?

对比模型加载时间和探针的 initialDelaySeconds。加载时

发表评论

活动