logo

AI Agent上云实战:GPU分区与会话恢复

作者:4042026.11.16 12:01浏览量:0

简介:本文讲解轻量级模型与持续运行AI Agent的云端部署方法,涵盖MIG显存切分、推理服务启动、会话持久化与恢复、上线验收标准以及常见故障排查。读者可以按步骤完成环境检查、显存规划和故障演练,并判断服务是否达到可上线标准。

适用场景与读者收益

轻量级可定制模型和持续运行的AI Agent正在承担越来越多的自动化工作,例如客服应答、数据清洗和通知处理。这类服务通常需要7×24小时在线,接收外部请求,并在进程异常重启后从中断位置继续执行。

本文面向开发者、运维工程师和架构师。按本文操作,读者可以完成三件事:按模型规模估算显存,把一张GPU切分给多个推理实例,并让Agent在异常重启后恢复未完成的任务。文末给出每项验证的预期结果和失败判定条件,便于判断上线是否合格。

架构组成

持续运行的Agent服务一般由四层组成。

  • 计算与推理层:云服务器GPU实例或支持GPU调度的容器平台,负责承载推理服务,并通过MIG或设备插件隔离多个实例的显存与算力。
  • Agent控制层:解析用户意图,编排任务,调用模型和外部接口。该层以容器形式运行,自身尽量保持无状态。
  • 状态与存储层:对象存储保存模型权重和配置文件,云数据库或缓存服务保存会话上下文和长期记忆。Agent的“持续工作”能力依赖这一层。
  • 消息与网关层:负载均衡接收外部请求,消息队列解耦异步任务,保证高并发时任务不丢失。

前置准备:环境与显存规划

1. 显存估算

显存需求由模型权重、KV Cache、运行时开销三部分组成,并建议预留余量。

模型权重占用的计算方式为:参数量 × 每个参数的字节数。FP16或BF16每个参数占2字节,INT8占1字节,INT4约占0.5字节。

模型规模 精度 权重占用估算
1.5B FP16 约3GB
3B INT8 约3GB
7B FP16 约14GB
7B INT4 约3.5GB

KV Cache 随并发数和上下文长度增长,计算公式如下:

KV Cache ≈ 2 × 层数 × KV头数 × 头维度 × 上下文长度 × 并发数 × 每元素字节数

以上为权重的估算值。运行时开销通常为1GB到2GB,实际值需以压测结果为准。规划时,建议在权重和运行时开销之外,预留20%到50%的余量。

2. 驱动与容器运行时

  • 安装与GPU型号匹配的NVIDIA驱动,并确认驱动版本满足所用CUDA版本的要求。
  • 安装NVIDIA Container Toolkit,并为Docker配置NVIDIA运行时。
  • 执行 nvidia-smi,确认驱动能正常识别GPU。
  • 执行 docker run --rm --gpus all <CUDA基础镜像标签> nvidia-smi,确认容器内能看到GPU。

3. 生产变更清单

  • 备份模型权重、配置文件和数据库结构。
  • 记录当前可用的镜像标签,以便回滚。
  • 先对小比例流量灰度发布,观察稳定后再全量切换。
  • 外部访问仅开放必要的IP白名单,证书由密钥管理服务统一保存。

第一步:GPU分区(MIG)

MIG(Multi-Instance GPU)只适用于部分数据中心级GPU,例如A30、A100、H100等。具体支持列表以NVIDIA官方文档为准。普通消费级显卡不支持MIG切分,遇到这种情况,应使用下文的显存比例限制方式。

开启MIG模式需要具备root权限,并停止所有占用该GPU的进程,因为切换模式通常需要重置GPU。

  1. # 1. 查看GPU型号与当前MIG状态
  2. nvidia-smi --query-gpu=name,mig.mode.current --format=csv
  3. # 2. 开启MIG模式(GPU索引为0)
  4. sudo nvidia-smi -i 0 -mig 1
  5. # 3. 列出可用的GPU实例规格,记下目标规格名称
  6. sudo nvidia-smi mig -lgip
  7. # 4. 创建GPU实例并同时创建计算实例(规格名称以第3步输出为准)
  8. sudo nvidia-smi mig -cgi <规格名称> -C

验证:执行 nvidia-smi -L,输出中应出现形如 MIG-xxxxxxxx-... 的设备UUID。若该命令没有MIG设备输出,说明模式或驱动未生效,应先检查GPU型号是否支持MIG,以及驱动版本是否满足要求。

无MIG的GPU:可用 CUDA_VISIBLE_DEVICES 指定可见设备,并在推理框架中限制显存比例。例如,vLLM 的 --gpu-memory-utilization 参数可设置推理框架可使用的显存比例,取值通常在0.7到0.9之间。

第二步:部署模型推理服务

将模型权重上传至对象存储,在推理节点挂载为只读目录。下面的命令是示例,需替换其中的MIG UUID和镜像名。--gpus 的设备语法需以所用NVIDIA Container Toolkit版本的官方文档为准。

  1. # 示例命令:请将 MIG UUID 替换为 nvidia-smi -L 的输出
  2. docker run -d \
  3. --name model-inference \
  4. --restart unless-stopped \
  5. --gpus '"device=MIG-替换为实际UUID"' \
  6. --memory=16g \
  7. -v /mnt/models:/models:ro \
  8. -p 127.0.0.1:8000:8000 \
  9. -e MODEL_PATH=/models/custom-small-v2 \
  10. custom-inference-image:latest

注意:--memory=16g 限制的是容器可用的主机内存,与显存无关。显存需要通过MIG实例规格或推理框架的显存比例参数限制。

并发上限估算:若某MIG实例可用显存为10GB,模型权重占3.5GB,运行时开销约1GB,则剩余约5.5GB可用于KV Cache。若单个请求的KV Cache约为0.5GB,则并发上限约为11。实际取值应以压测结果为准,并保留余量。

健康检查:

  1. curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/health

预期输出为 200。若返回非200状态码,或者容器不断重启,应先查看 docker logs model-inference。

agent-">第三步:部署Agent运行时与会话恢复

Agent控制层以容器形式运行,并通过环境变量指向推理服务的内网地址和数据库地址。会话恢复依赖数据库中的任务状态表。

任务表设计:至少包含 task_id(唯一)、agent_id、status(取值为 pending、processing、done、interrupted)、context_id、updated_at。

处理顺序:Agent收到任务后,先把上下文写入数据库,并将状态设为 processing;任务完成后,写入结果并将状态设为 done。这样,任何时刻崩溃都能从数据库判断任务进度。

启动时恢复逻辑:Agent启动时,应查询所有未完成的任务,包括 processing 状态的任务,不能只查询 pending。使用参数化查询,避免SQL注入。

  1. def restore_session(agent_id):
  2. rows = db.query(
  3. "SELECT task_id, context_id FROM tasks "
  4. "WHERE agent_id = ? AND status IN ('pending', 'processing', 'interrupted')",
  5. (agent_id,),
  6. )
  7. for row in rows:
  8. context = load_context(row.context_id)
  9. agent.resume(row.task_id, context)

由于恢复时任务可能被重复执行,每个任务的副作用,例如发送短信,都需要带上 task_id 做幂等校验。

超时与重试:模型调用超时设为5秒。重试最多3次,采用指数退避并加入随机抖动,避免大量请求同时重试。超时后若仍失败,应将任务标记为 interrupted,交由后续恢复逻辑处理。

自动重启:Docker 使用 --restart unless-stopped 策略,并为Agent配置 /health 健康检查。探针连续失败后,平台会重启容器。

第四步:接入外部触发源

外部事件经API网关转发到消息队列。Agent作为消费者订阅队

发表评论

活动