logo

智能体评测基准平台部署:从环境准备到上线验收

作者:da吃一鲸8862026.11.18 11:32浏览量:0

简介:本文给出部署步骤、资源基线、故障排查表和备份阈值,读者可据此完成冒烟评测与上线验收,并快速定位沙箱启动失败、任务超时、结果不一致和存储膨胀等问题。

一、适用范围与完成标准

本文说明一套智能体评测基准平台的通用部署方法,覆盖任务库、调度服务、执行沙箱、结果存储、监控告警。文中的版本号、端口、阈值和容量数字均为示例,具体取值以所用产品文档和团队实测结果为准。

部署完成需同时满足以下条件:

  1. 任务库版本与清单一致,清单中的 SHA256 校验通过。
  2. 沙箱镜像以 digest 固定引用,不使用 latest 标签。
  3. 冒烟集共 20 个任务,覆盖综合、网页、操作系统、办公、垂直领域五类,完成率不低于 95%(超时计为未完成)。
  4. 每个完成的任务都有完整轨迹和结果记录,轨迹完整率为 100%。
  5. 沙箱无法访问控制面网段,出站仅限白名单域名。
  6. 备份和回滚演练各执行一次,并留存记录。

二、组件拆分与网络分区

平台按控制面、数据面和接入区划分网络。调度服务、数据库和缓存位于控制面,沙箱位于数据面,负载均衡位于接入区。沙箱节点不能直接访问控制面端口。

组件 职责 端口与协议 部署单元 主要依赖
访问入口 接收评测请求,执行身份认证 HTTPS 443 负载均衡加 2 个实例 证书、认证服务
评测调度服务 任务排队、并发控制、超时与重试 HTTP 8080(仅内网) 容器 2 副本 PostgreSQL、Redis
执行沙箱 隔离运行单个任务 不开放入站,出站按白名单放行 独立计算节点池 沙箱模板镜像
任务库存储 保存任务定义、初始状态、依赖数据 对象存储 HTTPS 桶 eval-tasks 版本清单文件
结果存储 保存轨迹、日志、报告 对象存储 HTTPS 桶 eval-results 生命周期规则
关系型数据库 保存任务状态与元数据 PostgreSQL 14,5432(仅控制面) 主备 备份策略
缓存与队列 削峰、解耦调度与执行 Redis 7,6379(仅控制面) 主从 无

沙箱节点的出站白名单示例如下,未列出的目标一律拒绝:

  1. allow tcp/443 -> api.model-provider.example # 被测智能体的模型接口
  2. allow tcp/443 -> search.example.com # 仅网页类任务启用
  3. deny all -> 10.0.0.0/8 控制面网段 # 禁止访问数据库与调度服务

三、资源规划

资源按并发峰值估算。单个沙箱的基线规格为 2 vCPU、4 GiB 内存、20 GiB 临时盘。网页浏览类和操作系统类任务内存占用更高,建议单独配置为 4 vCPU、6 GiB。

计算公式如下:

  • 内存需求 = 并发数 × 单沙箱内存 × 1.2(预留 20% 余量)
  • 示例:并发 8,其中网页类任务占 50%,则需求为 (4 × 4 + 4 × 6) × 1.2 = 67.2 GiB,取 72 GiB 整数规格。

存储按轨迹体量估算。以下数字为示例,需用冒烟集实测后替换:

  • 单任务轨迹与日志约 2 MB,日新增存储 = 日任务数 × 2 MB。
  • 日任务数 2000 时,日增约 4 GB,保留 30 天约需 120 GB,超过 30 天的数据转入归档层。

网络带宽需满足模型接口和网页任务的峰值流量。调度服务与数据库部署在不同可用区时,需确认跨区延迟低于 5 ms。

四、前置准备

4.1 任务库元数据

每个任务必须填写以下字段,缺少任一字段的任务不得导入:

字段 类型 示例 说明
task_id 字符串 web-001 全库唯一
env_type 枚举 web / os / office / vertical / general 决定沙箱规格
max_steps 整数 50 超过即终止,记录 max_steps_reached
timeout_seconds 整数 600 单任务超时
cpu / memory_mb 整数 4 / 6144 沙箱资源配额
image_digest 字符串 sha256:ab12… 依赖的沙箱镜像
seed 整数 20261118 固定随机种子
collect_fields 列表 trace, logs, metrics 需采集的数据
failure_taxonomy 枚举 timeout, tool_error, wrong_answer 失败原因分类

4.2 沙箱模板

沙箱模板需满足以下要求:

  • 基础镜像固定版本号,例如 ubuntu:22.04 对应的具体 digest。
  • 安装依赖时锁定版本,浏览器、Python 包和系统库均需写入锁文件。
  • 启动脚本关闭自动更新,并同步 NTP 时间。
  • 镜像构建后计算 digest,写入任务库的 image_digest 字段。

4.3 密钥与配置

数据库密码、模型接口密钥通过密钥管理服务托管,在启动时以环境变量注入调度服务。沙箱不挂载控制面凭证,也不接收数据库连接串。开发、测试、生产环境使用不同的密钥和连接地址,禁止共用。

五、部署流程

5.1 运行参数

以下为生产前的参数模板,<...> 处需替换为实际值:

  1. EVAL_ENV=staging
  2. TASK_REPO_URI=s3://eval-tasks/v1.2.0/
  3. TASK_REPO_SHA256_MANIFEST=s3://eval-tasks/v1.2.0/tasks.manifest.sha256
  4. SANDBOX_IMAGE=registry.example.com/eval/sandbox@sha256:<digest>
  5. SCHEDULER_CONCURRENCY=8
  6. TASK_TIMEOUT_SECONDS=600
  7. DB_URL=postgresql://eval_app@db-internal:5432/eval # 密码由密钥服务注入
  8. REDIS_URL=redis://redis-internal:6379/0
  9. RESULT_BUCKET=eval-results
  10. LOG_RETENTION_DAYS=30

5.2 初始化顺序

  1. 备份数据库:pg_dump -Fc eval > backup_pre_migrate_$(date +%F).dump,确认文件大小大于 0。
  2. 执行迁移:./bin/migrate up --db "$DB_URL",记录迁移版本号。
  3. 校验任务库:sha256sum -c tasks.manifest.sha256,输出全部为 OK 才能继续。
  4. 导入任务库:./bin/import-tasks --src "$TASK_REPO_URI" --version v1.2.0,记录导入条数,应与清单条数一致。
  5. 拉取并校验沙箱镜像:docker pull "$SANDBOX_IMAGE",再执行 docker image inspect --format '{{index .RepoDigests 0}}' <镜像名>,输出须与参数中的 digest 一致。
  6. 启动调度服务:docker compose up -d scheduler。
  7. 健康检查:curl -fsS http://scheduler-internal:8080/healthz 返回 HTTP 200 且内容为 {"status":"ok"};curl -fsS http://scheduler-internal:8080/readyz 返回 HTTP 200,表示数据库与 Redis 连接正常。
  8. 冒烟评测:./bin/smoke --suite smoke-v1 --count 20。验收标准为完成率不低于 95%,轨迹完整率 100%,结果落库条数等于任务数。
  9. 灰度放量:并发按 2、4、8 逐级提升,每级观察 30 分钟,期间失败率和队列等待时间均在第 9.3 节阈值内。

5.3 回滚对象与步骤

回滚前需保留以下对象:上一版任务库目录(如 v1.1.0)、上一版 .env 配置、上一版沙箱镜像 digest、数据库迁移的 down 脚本、迁移前的数据库备份文件。

回滚步骤如下:

  1. 将调度服务置为暂停状态,停止接收新任务。
  2. 等待运行中的任务结束,或超过 TASK_TIMEOUT_SECONDS 后被强制终止。
  3. 恢复上一版 .env 和沙箱镜像 digest,重新部署调度服务。
  4. 仅当迁移涉及表结构变更时执行 down 脚本。执行前确认没有写入新字段的数据,否则会丢失数据,需先从备份恢复到临时库比对。
  5. 重新执行第 5.2 节的步骤 7 和步骤 8。

六、上线验证与故障排查

排查顺序为:调度日志、沙箱日志、依赖服务、资源指标,最后在单任务上复现。

症状 先检查 复现命令 处置
沙箱启动失败 调度日志中的 sandbox_start_error;节点内存使用率 ./bin/run-task --task-id web-001 --debug digest 不一致则重新拉取镜像;内存不足则调整规格或降低并发;依赖缺失则重建模板
任务超时率高于 10% 超时任务的平均步数;网络延迟 p95;沙箱 CPU 使用率 ./bin/run-task --task-id web-001 --timeout 1200 先区分是模型接口慢还是沙箱慢;网页类任务检查出站白名单是否放行
同一任务多次结果不一致 任务库版本、镜像 digest、seed 字段 ./bin/repeat --task-id os-014 --times 5 固定 seed 和镜像;依赖外部网页内容的任务标记为不可比
结果缺失 结果存储写入错误码;数据库连接池等待时间 ./bin/check-results --run-id <id> 检查存储凭证和桶策略;连接池耗尽则调整池大小并排查连接泄漏

发表评论

活动