智能体评测基准平台部署:从环境准备到上线验收
作者:da吃一鲸8862026.11.18 11:32浏览量:0简介:本文给出部署步骤、资源基线、故障排查表和备份阈值,读者可据此完成冒烟评测与上线验收,并快速定位沙箱启动失败、任务超时、结果不一致和存储膨胀等问题。
一、适用范围与完成标准
本文说明一套智能体评测基准平台的通用部署方法,覆盖任务库、调度服务、执行沙箱、结果存储、监控告警。文中的版本号、端口、阈值和容量数字均为示例,具体取值以所用产品文档和团队实测结果为准。
部署完成需同时满足以下条件:
- 任务库版本与清单一致,清单中的 SHA256 校验通过。
- 沙箱镜像以 digest 固定引用,不使用
latest标签。 - 冒烟集共 20 个任务,覆盖综合、网页、操作系统、办公、垂直领域五类,完成率不低于 95%(超时计为未完成)。
- 每个完成的任务都有完整轨迹和结果记录,轨迹完整率为 100%。
- 沙箱无法访问控制面网段,出站仅限白名单域名。
- 备份和回滚演练各执行一次,并留存记录。
二、组件拆分与网络分区
平台按控制面、数据面和接入区划分网络。调度服务、数据库和缓存位于控制面,沙箱位于数据面,负载均衡位于接入区。沙箱节点不能直接访问控制面端口。
| 组件 | 职责 | 端口与协议 | 部署单元 | 主要依赖 |
|---|---|---|---|---|
| 访问入口 | 接收评测请求,执行身份认证 | HTTPS 443 | 负载均衡加 2 个实例 | 证书、认证服务 |
| 评测调度服务 | 任务排队、并发控制、超时与重试 | HTTP 8080(仅内网) | 容器 2 副本 | PostgreSQL、Redis |
| 执行沙箱 | 隔离运行单个任务 | 不开放入站,出站按白名单放行 | 独立计算节点池 | 沙箱模板镜像 |
| 任务库存储 | 保存任务定义、初始状态、依赖数据 | 对象存储 HTTPS | 桶 eval-tasks | 版本清单文件 |
| 结果存储 | 保存轨迹、日志、报告 | 对象存储 HTTPS | 桶 eval-results | 生命周期规则 |
| 关系型数据库 | 保存任务状态与元数据 | PostgreSQL 14,5432(仅控制面) | 主备 | 备份策略 |
| 缓存与队列 | 削峰、解耦调度与执行 | Redis 7,6379(仅控制面) | 主从 | 无 |
沙箱节点的出站白名单示例如下,未列出的目标一律拒绝:
allow tcp/443 -> api.model-provider.example # 被测智能体的模型接口allow tcp/443 -> search.example.com # 仅网页类任务启用deny all -> 10.0.0.0/8 控制面网段 # 禁止访问数据库与调度服务
三、资源规划
资源按并发峰值估算。单个沙箱的基线规格为 2 vCPU、4 GiB 内存、20 GiB 临时盘。网页浏览类和操作系统类任务内存占用更高,建议单独配置为 4 vCPU、6 GiB。
计算公式如下:
- 内存需求 = 并发数 × 单沙箱内存 × 1.2(预留 20% 余量)
- 示例:并发 8,其中网页类任务占 50%,则需求为 (4 × 4 + 4 × 6) × 1.2 = 67.2 GiB,取 72 GiB 整数规格。
存储按轨迹体量估算。以下数字为示例,需用冒烟集实测后替换:
- 单任务轨迹与日志约 2 MB,日新增存储 = 日任务数 × 2 MB。
- 日任务数 2000 时,日增约 4 GB,保留 30 天约需 120 GB,超过 30 天的数据转入归档层。
网络带宽需满足模型接口和网页任务的峰值流量。调度服务与数据库部署在不同可用区时,需确认跨区延迟低于 5 ms。
四、前置准备
4.1 任务库元数据
每个任务必须填写以下字段,缺少任一字段的任务不得导入:
| 字段 | 类型 | 示例 | 说明 |
|---|---|---|---|
| task_id | 字符串 | web-001 | 全库唯一 |
| env_type | 枚举 | web / os / office / vertical / general | 决定沙箱规格 |
| max_steps | 整数 | 50 | 超过即终止,记录 max_steps_reached |
| timeout_seconds | 整数 | 600 | 单任务超时 |
| cpu / memory_mb | 整数 | 4 / 6144 | 沙箱资源配额 |
| image_digest | 字符串 | sha256:ab12… | 依赖的沙箱镜像 |
| seed | 整数 | 20261118 | 固定随机种子 |
| collect_fields | 列表 | trace, logs, metrics | 需采集的数据 |
| failure_taxonomy | 枚举 | timeout, tool_error, wrong_answer | 失败原因分类 |
4.2 沙箱模板
沙箱模板需满足以下要求:
- 基础镜像固定版本号,例如
ubuntu:22.04对应的具体 digest。 - 安装依赖时锁定版本,浏览器、Python 包和系统库均需写入锁文件。
- 启动脚本关闭自动更新,并同步 NTP 时间。
- 镜像构建后计算 digest,写入任务库的
image_digest字段。
4.3 密钥与配置
数据库密码、模型接口密钥通过密钥管理服务托管,在启动时以环境变量注入调度服务。沙箱不挂载控制面凭证,也不接收数据库连接串。开发、测试、生产环境使用不同的密钥和连接地址,禁止共用。
五、部署流程
5.1 运行参数
以下为生产前的参数模板,<...> 处需替换为实际值:
EVAL_ENV=stagingTASK_REPO_URI=s3://eval-tasks/v1.2.0/TASK_REPO_SHA256_MANIFEST=s3://eval-tasks/v1.2.0/tasks.manifest.sha256SANDBOX_IMAGE=registry.example.com/eval/sandbox@sha256:<digest>SCHEDULER_CONCURRENCY=8TASK_TIMEOUT_SECONDS=600DB_URL=postgresql://eval_app@db-internal:5432/eval # 密码由密钥服务注入REDIS_URL=redis://redis-internal:6379/0RESULT_BUCKET=eval-resultsLOG_RETENTION_DAYS=30
5.2 初始化顺序
- 备份数据库:
pg_dump -Fc eval > backup_pre_migrate_$(date +%F).dump,确认文件大小大于 0。 - 执行迁移:
./bin/migrate up --db "$DB_URL",记录迁移版本号。 - 校验任务库:
sha256sum -c tasks.manifest.sha256,输出全部为 OK 才能继续。 - 导入任务库:
./bin/import-tasks --src "$TASK_REPO_URI" --version v1.2.0,记录导入条数,应与清单条数一致。 - 拉取并校验沙箱镜像:
docker pull "$SANDBOX_IMAGE",再执行docker image inspect --format '{{index .RepoDigests 0}}' <镜像名>,输出须与参数中的 digest 一致。 - 启动调度服务:
docker compose up -d scheduler。 - 健康检查:
curl -fsS http://scheduler-internal:8080/healthz返回 HTTP 200 且内容为{"status":"ok"};curl -fsS http://scheduler-internal:8080/readyz返回 HTTP 200,表示数据库与 Redis 连接正常。 - 冒烟评测:
./bin/smoke --suite smoke-v1 --count 20。验收标准为完成率不低于 95%,轨迹完整率 100%,结果落库条数等于任务数。 - 灰度放量:并发按 2、4、8 逐级提升,每级观察 30 分钟,期间失败率和队列等待时间均在第 9.3 节阈值内。
5.3 回滚对象与步骤
回滚前需保留以下对象:上一版任务库目录(如 v1.1.0)、上一版 .env 配置、上一版沙箱镜像 digest、数据库迁移的 down 脚本、迁移前的数据库备份文件。
回滚步骤如下:
- 将调度服务置为暂停状态,停止接收新任务。
- 等待运行中的任务结束,或超过
TASK_TIMEOUT_SECONDS后被强制终止。 - 恢复上一版
.env和沙箱镜像 digest,重新部署调度服务。 - 仅当迁移涉及表结构变更时执行 down 脚本。执行前确认没有写入新字段的数据,否则会丢失数据,需先从备份恢复到临时库比对。
- 重新执行第 5.2 节的步骤 7 和步骤 8。
六、上线验证与故障排查
排查顺序为:调度日志、沙箱日志、依赖服务、资源指标,最后在单任务上复现。
| 症状 | 先检查 | 复现命令 | 处置 |
|---|---|---|---|
| 沙箱启动失败 | 调度日志中的 sandbox_start_error;节点内存使用率 |
./bin/run-task --task-id web-001 --debug |
digest 不一致则重新拉取镜像;内存不足则调整规格或降低并发;依赖缺失则重建模板 |
| 任务超时率高于 10% | 超时任务的平均步数;网络延迟 p95;沙箱 CPU 使用率 | ./bin/run-task --task-id web-001 --timeout 1200 |
先区分是模型接口慢还是沙箱慢;网页类任务检查出站白名单是否放行 |
| 同一任务多次结果不一致 | 任务库版本、镜像 digest、seed 字段 | ./bin/repeat --task-id os-014 --times 5 |
固定 seed 和镜像;依赖外部网页内容的任务标记为不可比 |
| 结果缺失 | 结果存储写入错误码;数据库连接池等待时间 | ./bin/check-results --run-id <id> |
检查存储凭证和桶策略;连接池耗尽则调整池大小并排查连接泄漏 |
相关文章推荐
发表评论
活动

登录后可评论,请前往 登录 或 注册