AI Agent上云实战:GPU分区与会话恢复
作者:4042026.11.16 12:01浏览量:0简介:本文讲解轻量级模型与持续运行AI Agent的云端部署方法,涵盖MIG显存切分、推理服务启动、会话持久化与恢复、上线验收标准以及常见故障排查。读者可以按步骤完成环境检查、显存规划和故障演练,并判断服务是否达到可上线标准。
适用场景与读者收益
轻量级可定制模型和持续运行的AI Agent正在承担越来越多的自动化工作,例如客服应答、数据清洗和通知处理。这类服务通常需要7×24小时在线,接收外部请求,并在进程异常重启后从中断位置继续执行。
本文面向开发者、运维工程师和架构师。按本文操作,读者可以完成三件事:按模型规模估算显存,把一张GPU切分给多个推理实例,并让Agent在异常重启后恢复未完成的任务。文末给出每项验证的预期结果和失败判定条件,便于判断上线是否合格。
架构组成
持续运行的Agent服务一般由四层组成。
- 计算与推理层:云服务器GPU实例或支持GPU调度的容器平台,负责承载推理服务,并通过MIG或设备插件隔离多个实例的显存与算力。
- Agent控制层:解析用户意图,编排任务,调用模型和外部接口。该层以容器形式运行,自身尽量保持无状态。
- 状态与存储层:对象存储保存模型权重和配置文件,云数据库或缓存服务保存会话上下文和长期记忆。Agent的“持续工作”能力依赖这一层。
- 消息与网关层:负载均衡接收外部请求,消息队列解耦异步任务,保证高并发时任务不丢失。
前置准备:环境与显存规划
1. 显存估算
显存需求由模型权重、KV Cache、运行时开销三部分组成,并建议预留余量。
模型权重占用的计算方式为:参数量 × 每个参数的字节数。FP16或BF16每个参数占2字节,INT8占1字节,INT4约占0.5字节。
| 模型规模 | 精度 | 权重占用估算 |
|---|---|---|
| 1.5B | FP16 | 约3GB |
| 3B | INT8 | 约3GB |
| 7B | FP16 | 约14GB |
| 7B | INT4 | 约3.5GB |
KV Cache 随并发数和上下文长度增长,计算公式如下:
KV Cache ≈ 2 × 层数 × KV头数 × 头维度 × 上下文长度 × 并发数 × 每元素字节数
以上为权重的估算值。运行时开销通常为1GB到2GB,实际值需以压测结果为准。规划时,建议在权重和运行时开销之外,预留20%到50%的余量。
2. 驱动与容器运行时
- 安装与GPU型号匹配的NVIDIA驱动,并确认驱动版本满足所用CUDA版本的要求。
- 安装NVIDIA Container Toolkit,并为Docker配置NVIDIA运行时。
- 执行
nvidia-smi,确认驱动能正常识别GPU。 - 执行
docker run --rm --gpus all <CUDA基础镜像标签> nvidia-smi,确认容器内能看到GPU。
3. 生产变更清单
- 备份模型权重、配置文件和数据库结构。
- 记录当前可用的镜像标签,以便回滚。
- 先对小比例流量灰度发布,观察稳定后再全量切换。
- 外部访问仅开放必要的IP白名单,证书由密钥管理服务统一保存。
第一步:GPU分区(MIG)
MIG(Multi-Instance GPU)只适用于部分数据中心级GPU,例如A30、A100、H100等。具体支持列表以NVIDIA官方文档为准。普通消费级显卡不支持MIG切分,遇到这种情况,应使用下文的显存比例限制方式。
开启MIG模式需要具备root权限,并停止所有占用该GPU的进程,因为切换模式通常需要重置GPU。
# 1. 查看GPU型号与当前MIG状态nvidia-smi --query-gpu=name,mig.mode.current --format=csv# 2. 开启MIG模式(GPU索引为0)sudo nvidia-smi -i 0 -mig 1# 3. 列出可用的GPU实例规格,记下目标规格名称sudo nvidia-smi mig -lgip# 4. 创建GPU实例并同时创建计算实例(规格名称以第3步输出为准)sudo nvidia-smi mig -cgi <规格名称> -C
验证:执行 nvidia-smi -L,输出中应出现形如 MIG-xxxxxxxx-... 的设备UUID。若该命令没有MIG设备输出,说明模式或驱动未生效,应先检查GPU型号是否支持MIG,以及驱动版本是否满足要求。
无MIG的GPU:可用 CUDA_VISIBLE_DEVICES 指定可见设备,并在推理框架中限制显存比例。例如,vLLM 的 --gpu-memory-utilization 参数可设置推理框架可使用的显存比例,取值通常在0.7到0.9之间。
第二步:部署模型推理服务
将模型权重上传至对象存储,在推理节点挂载为只读目录。下面的命令是示例,需替换其中的MIG UUID和镜像名。--gpus 的设备语法需以所用NVIDIA Container Toolkit版本的官方文档为准。
# 示例命令:请将 MIG UUID 替换为 nvidia-smi -L 的输出docker run -d \--name model-inference \--restart unless-stopped \--gpus '"device=MIG-替换为实际UUID"' \--memory=16g \-v /mnt/models:/models:ro \-p 127.0.0.1:8000:8000 \-e MODEL_PATH=/models/custom-small-v2 \custom-inference-image:latest
注意:--memory=16g 限制的是容器可用的主机内存,与显存无关。显存需要通过MIG实例规格或推理框架的显存比例参数限制。
并发上限估算:若某MIG实例可用显存为10GB,模型权重占3.5GB,运行时开销约1GB,则剩余约5.5GB可用于KV Cache。若单个请求的KV Cache约为0.5GB,则并发上限约为11。实际取值应以压测结果为准,并保留余量。
健康检查:
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8000/health
预期输出为 200。若返回非200状态码,或者容器不断重启,应先查看 docker logs model-inference。
agent-">第三步:部署Agent运行时与会话恢复
Agent控制层以容器形式运行,并通过环境变量指向推理服务的内网地址和数据库地址。会话恢复依赖数据库中的任务状态表。
任务表设计:至少包含 task_id(唯一)、agent_id、status(取值为 pending、processing、done、interrupted)、context_id、updated_at。
处理顺序:Agent收到任务后,先把上下文写入数据库,并将状态设为 processing;任务完成后,写入结果并将状态设为 done。这样,任何时刻崩溃都能从数据库判断任务进度。
启动时恢复逻辑:Agent启动时,应查询所有未完成的任务,包括 processing 状态的任务,不能只查询 pending。使用参数化查询,避免SQL注入。
def restore_session(agent_id):rows = db.query("SELECT task_id, context_id FROM tasks ""WHERE agent_id = ? AND status IN ('pending', 'processing', 'interrupted')",(agent_id,),)for row in rows:context = load_context(row.context_id)agent.resume(row.task_id, context)
由于恢复时任务可能被重复执行,每个任务的副作用,例如发送短信,都需要带上 task_id 做幂等校验。
超时与重试:模型调用超时设为5秒。重试最多3次,采用指数退避并加入随机抖动,避免大量请求同时重试。超时后若仍失败,应将任务标记为 interrupted,交由后续恢复逻辑处理。
自动重启:Docker 使用 --restart unless-stopped 策略,并为Agent配置 /health 健康检查。探针连续失败后,平台会重启容器。
第四步:接入外部触发源
外部事件经API网关转发到消息队列。Agent作为消费者订阅队

登录后可评论,请前往 登录 或 注册