自改进Agent评测部署:诊断标准持续进化
作者:渣渣辉2026.11.18 11:44浏览量:0简介:本文介绍如何部署可随智能体自我改进而持续演进诊断标准的评测harness,涵盖架构拆解、资源规划、分阶段部署、上线验证与运维优化,帮助技术团队建立可复现的“评测—诊断—改进—验证”闭环。
一、部署概述:要部署什么,部署后达到什么效果
1.1 部署对象
本文要部署的不是单一应用,而是一套智能体评测与自我改进平台(harness)。它包含三类核心资产和四类运行时服务:
- 三类核心资产:任务集、评分标准、优化方案库。
- 四类运行时服务:任务编排、沙箱执行、模型推理、指标与诊断。
平台部署完成后,运行一个完整的“评测—改进—再评测”循环时,会依次完成以下过程:
- 对指定骨干模型在信息检索、知识工作、软件工程、代码实现、数学推理五个领域进行评测。
- 以 Pass@1 为主要指标,按五领域等权平均汇总。
- 根据诊断结果生成并验证改进方案。
- 用留内集(held-in)和留出集(held-out)验证改进效果。
1.2 部署目标:让诊断标准跟着智能体一起进化
智能体持续自我改进后,其短板会迁移到新的能力维度:旧弱点修复之后,新弱点开始主导失败,原有评分标准逐渐“测不出问题”。
有研究提出一种持续自改进的评测harness(下称“持续自改进harness”)。其评测覆盖上述五个领域,并分别使用两个开源骨干模型。在每个骨干上,它与该骨干自身最强的对照方案比较:
| 骨干模型 | 评估口径 | 持续自改进harness | 该骨干最强对照 | 提升幅度 |
|---|---|---|---|---|
| 骨干A(约350亿总参数、30亿激活参数的稀疏骨干) | 留内平均 | 62.4分 | 高出1.7分 | +1.7分 |
| 骨干B(同规模稀疏骨干) | 留出平均 | 53.7分 | 对照得分49.2分 | +4.5分 |
两个骨干的最强对照各不相同。这说明评测和优化的效果依赖具体骨干,不能一套对照“打天下”,评测配置必须按模型分别管理。
部署这套平台后,应达到以下目标:
- 结果可复现:相同版本的任务集、评分标准与模型,重复评测能得到一致的得分。
- 对比有依据:不同骨干各自与自身最强对照比较,而不是统一套用同一方案。
- 诊断能进化:每轮改进后自动重新诊断,识别新出现的弱点,更新标准库并沉淀为可复用资产。
- 改进可验证:留出集在每轮诊断和优化中均不可见,用来检验改进是否真正迁移到未见过的场景,而不是过拟合留内任务。
- 过程可运维:具备监控、告警、限流和回滚能力,能够长期稳定运行。
1.3 适用读者与基本背景
- 适用读者:
- 负责智能体策略迭代的算法与研发工程师;
- 搭建评测流水线的平台工程师和运维人员;
- 需要评估“自建评测平台还是采购托管服务”的架构师与技术负责人。
- 部署前应理解的基本概念:
- 骨干模型:被测智能体底层使用的大语言模型。
- harness:驱动智能体执行任务、收集轨迹并调用判分器的运行框架。
- Pass@1:每个任务只采样一次(或多次采样后按无偏公式估计),答案通过验证即记为1次通过。
- 五领域等权平均:先算各领域的任务级通过率,再对五个领域取算术平均,避免任务量大的领域主导总分。
- 留内/留出:留内是诊断与优化中可见的数据;留出用于独立验证,必须防止泄漏。
二、部署场景:什么情况下需要部署这套平台
| 场景 | 典型诉求 | 部署侧关注点 |
|---|---|---|
| 智能体策略迭代 | 每改一版提示词、工具集或规划策略,都要快速知道效果与副作用 | 快速拉起评测、版本化记录、新旧策略对比 |
| 模型选型与升级 | 对比不同骨干模型在同一任务体系下的表现 | 按骨干维护各自对照;预留推理资源弹性 |
| 长期自改进实验 | 无人值守地循环“诊断—改进—验证” | 任务编排可靠性、沙箱安全、成本限额 |
| 研发流程质量门禁 | 合入代码或更新依赖后,回归核心能力指标 | 自动化触发、失败阻断、结果归档 |
| 企业内部智能体质量评估 | 用统一的评测体系衡量不同团队建设的智能体 | 权限隔离、多租户资源配额、审计 |
部署形态选择:
- 容器集群:执行频率高、需要弹性并发,推荐首选。
- 云服务器:规模小、需要完全掌控运行环境时适用。
- 函数计算:适合单次任务轻、突发量大的评测任务,如大批量单轮问答评分;沙箱类任务需要具备容器隔离能力的运行环境。
- 私有或混合环境:数据敏感,或内网无法直连外部推理服务时,模型服务部署在内网,评测控制面放在线上。
三、架构与组件:平台由哪些部分构成
┌──────────────────────── 接入与治理层 ────────────────────────┐│ API网关(身份认证 / 限流 / 审计) 密钥管理服务 │└───────────────────────────┬─────────────────────────────────┘┌───────────────────────────▼─────────────────────────────────┐│ 任务编排服务 评测运行服务 诊断服务 改进服务 指标计算服务 ││ 资产服务(任务集/评分标准/方案库) │└──────┬──────────────────┬───────────────────┬──────────────┘│ │ │┌──────▼──────┐ ┌───────▼────────┐ ┌──────▼───────────────┐│ 沙箱执行池 │ │ 模型服务集群 │ │ 数据层 ││ 隔离运行 │ │ 骨干A 骨干B │ │ 关系库/对象存储/缓存 ││ 工具与代码 │ │ 推理API兼容 │ │ 消息队列 │└─────────────┘ └────────────────┘ └──────────────────────┘┌──────────────────────────────────────────────────────────────┐│ 观测层:日志服务 / 指标监控 / 告警通知 / 调用链追踪 │└──────────────────────────────────────────────────────────────┘
| 模块 | 核心职责 | 建议部署资源 | 关键依赖 |
|---|---|---|---|
| 任务编排服务 | 生成运行计划,管理运行状态与重试 | 2~4 vCPU / 4~8 GB | 关系型数据库、消息队列 |
| 沙箱执行池 | 隔离执行智能体动作、运行代码、抓取轨迹 | 每实例2~4 vCPU / 4~8 GB,可弹性伸缩 | 容器运行时、临时存储 |
| 模型服务集群 | 提供骨干模型的推理接口 | 显存容量决定,单卡或多卡并行 | 镜像仓库、模型权重存储 |
| 指标计算服务 | 计算Pass@1、五领域等权平均及对比统计 | 2~4 vCPU / 4 GB,跑批时提高规格 | 结果库、标准库 |
| 诊断与改进服务 | 归因失败、生成改进方案并回归验证 | 2~4 vCPU / 4 GB | 推理服务、资产服务、大模型辅助分析 |
| 资产服务 | 管理任务集、评分标准、方案库及其版本 | 2 vCPU / 4 GB | 关系型数据库、对象存储 |
| 数据层 | 存储运行记录、轨迹与结果 | 关系库按数据量选择规格;对象存储按容量 | 备份策略 |
| 观测与安全 | 日志、指标、告警、审计与密钥管理 | 随集群规模配置 | 统一日志服务、监控告警 |
四、前置准备:部署前必须落实的事项
| 准备项 | 具体内容 | 未落实时的风险 |
|---|---|---|
| 云账号与权限 | 云服务器、容器集群、对象存储、关系库、日志、监控等资源的创建与管理权限;密钥管理服务权限 | 部署中途因权限不足失败,临时提权带来安全隐患 |
| 网络规划 | 私有网络与子网划分;控制面、沙箱、模型服务分属不同子网;仅网关对外开放 | 沙箱直接暴露公网,形成命令执行风险 |
| 代码与镜像 | 编排、执行、诊断等服务的源码;统一基础镜像并锁定版本 | 环境不一致导致“本地能跑、线上失败” |
| 任务资产 | 五领域任务集、参考判分脚本或标准答案、评分标准;留内与留出两套清单;领域、难度、语言标签 | 留出集被误用于诊断,结果虚高 |
| 模型资源 | 各骨干模型的权重与版本号、推理运行参数 | 版本漂移导致结果无法复现 |
| 依赖组件 | 关系型数据库、对象存储、缓存、消息队列实例 | 并发评测时数据库连接耗尽 |
| 凭据与密钥 | 模型服务凭据、存储访问密钥、数据库密码,统一存放于密钥管理服务 | 密钥硬编码进代码或镜像 |
| 算力配额 | 推理卡配额、沙箱实例配额、公网出口带宽 | 大规模评测时被配额限制中断 |
此外,还要明确评测的基线口径:
- 基线是“无改进的原始智能体”,还是“该骨干当前最强的对照方案”。
- 留出集和留内集的比例与切分规则。
- 每个任务的采样次数与随机种子策略。
口径确定后,应写入部署文档并纳入配置管理,避免每次评测各算一套。
五、资源规划:容量怎么估、怎么扩
5.1 模型推理资源
| 要素 | 对资源的影响 | 规划建议 |
|---|---|---|
| 总参数量 | 权重显存 ≈ 参数量 × 每参数字节数(FP16/ BF16 约2字节,8位量化约1字节),再叠加框架开销 | 如350亿参数以16位精度加载,仅权重约需70 GB显存,需多卡并行 |
| 激活参数量 | 单次前向的计算量主要与激活参数相关 | 稀疏模型推理速度可能较快,但显存仍按总参数准备,不能按激活参数估算 |
| 并发数 × 上下文长度 | 决定缓存占用和批处理吞吐 | 为长上下文任务预留余量,建议实际占用不超过单卡可用显存的80% |
| 多模型并存 | 两个骨干同时评测时资源叠加 | 可分时复用同一资源池,或使用按负载缩容的托管推理服务 |
5.2 沙箱执行资源
- 实例规格:单个沙箱建议2 vCPU / 4 GB内存起。软件工程类任务需要安装依赖、运行测试,单任务耗时可达数分钟,应提高规格并延长超时时间。
- 并发数:峰值并发 ≈ 并发评测任务数 × 单任务内部子进程数。
- 安全系数:考虑失败重试和突发流量,建议按峰值的1.5倍预留。
- 存储:沙箱使用临时或本地存储,评测结束后清理。
5.3 其他资源
- 关系库:存储任务、运行、结果与标准版本。初期中等规格即可,主要看每秒写入量;需定期归档历史运行记录。
- 对象存储:存放轨迹、日志和产物,按容量与读取频率计费,可配置生命周期规则。
- 消息队列:削峰填谷,避免大量评测同时提交时压垮执行层。
- 网络:模型服务和沙箱需要访问外部资源时(如信息检索类任务),通过统一出口代理并设置带宽上限。
5.4 分档参考(示意)
| 规模 | 骨干模型 | 单次全量运行规模 | 常驻计算 | 沙箱峰值 | 关系库 | 建议部署形态 |
|---|---|---|---|---|---|---|
| 试点 | 1个,分时评测 | 每领域50~100题 | 单卡推理节点或托管推理服务 | 10~20个沙箱实例 | 入门规格 | 云服务器 + 容器服务 |
| 中等 | 2个,分时或同池 | 每领域200~500题 | 2~4卡推理节点 | 50~100个沙箱实例 | 通用规格,开启备份 | 容器服务弹性节点池 |
| 规模化 | 多个,含持续自改进循环 | 每领域1000题以上 | 多卡节点池 + 弹性伸缩 | 弹性扩至200个以上 | 高可用规格 + 只读副本 | 容器服务 + 托管推理服务 |
以上为经验性示意,实际容量应以小规模压测结果为准。
六、部署流程:从零到可用的七个阶段
① 初始化网络与基础资源↓② 导入任务集与评分标准,密封留出集↓③ 部署模型服务并通过推理连通性验证↓④ 部署沙箱执行池与任务编排服务↓⑤ 部署指标计算、诊断与改进服务↓⑥ 接入监控告警、安全策略与成本限额↓⑦ 小规模冒烟 → 全量评测 → 上线交付
阶段一:初始化网络与基础资源
- 创建私有网络与子网:控制面子网、沙箱子网、数据子网分离。
- 设置安全组或网络访问控制列表:
- 仅网关对受控来源开放;
- 控制面只能访问关系库和对象存储;
- 沙箱默认禁止访问控制面与数据子网;
- 模型服务仅对控制面和沙箱开放推理端口。
- 开通镜像仓库、对象存储、密钥管理服务,统一管理访问凭据。
作用:网络边界是最先建立的安全防线。如果沙箱能直接访问数据库,被评测代码中的任何异常逻辑都可能读写评测数据。
阶段二:导入任务集与评分标准
- 按五个领域建立任务目录,每道题包含唯一标识、输入、验证方式、标签和版本号。
- 导入评分标准并打上版本号。
- 将留出集写入权限受控的独立区域,只允许指标验证环节按配置比例读取,诊断与改进服务不得直接访问。
- 对任务和答案文件计算校验值,记录在资产清单中,防止传输过程中被篡改。
作用:资产是评测可信度的根基。留出集一旦泄漏,后续所有“泛化提升”的结论都会失去说服力。
阶段三:部署模型服务
- 在容器集群中以有状态工作负载的形式运行推理服务,或调用托管推理服务。
- 配置权重加载路径、上下文长度上限、批处理并发和超时。
- 通过就绪探针确认加载完成后再接入流量。
验证:发送一条固定请求,核对返回结构、token计数与版本标识,确认被测模型版本正确。
阶段四:部署沙箱执行池与任务编排服务
- 部署沙箱镜像,限制以下方面:
- 单任务CPU、内存、进程数;
- 磁盘配额;
- 执行超时;
- 禁止提权。
- 沙箱只读根文件系统,为工作目录单独挂载可写临时盘;网络默认隔离,按需开启白名单。
- 编排服务按“运行计划 → 任务队列 → 沙箱执行 → 结果回收”调度,失败任务最多重试N次。
作用:沙箱隔离决定了平台能否长时间 unattended 运行;编排层的重试与幂等设计决定了大批量评测能否在部分节点故障时继续推进。
阶段五:部署指标计算、诊断与改进服务
- 指标计算:按任务级通过情况计算各领域Pass@1,再做五领域等权平均;同时计算留内与留出两套结果。
- 诊断服务:对失败任务聚类归因,更新弱点画像,并决定是否需要新增或调整评分标准;标准变更生成新版本,经回归验证后生效。
- 改进服务:基于诊断结果生成改进方案(提示、工具、策略或知识),在留内集上回归验证。
作用:把“诊断标准会过期”落实为“标准版本化、变更可验证”。
阶段六:接入监控、安全与成本限额
- 日志、指标、调用链分别接入统一日志服务、监控告警服务和追踪组件;
- 配置模型调用凭据轮换、接口身份认证与操作审计;
- 为对象存储、消息队列和推理调用设置用量上限与预算告警。
阶段七:冒烟与全量上线
- 每个领域抽取少量任务做冒烟测试。
- 全量跑一轮,核对五领域等权平均分是否落在合理区间。
- 与基线对照方案跑出的结果做交叉校验。
七、配置说明:关键配置项及其风险
harness:run_id: eval-20260101-a # 运行标识,写入结果表,便于追溯backbones: # 按骨干维护各自对照,避免一套配置打天下- id: backbone_a # 骨干Aendpoint_ref: secret://model/backbone_abaseline_ref: baseline_a # 该骨干自身最强对照- id: backbone_b # 骨干Bendpoint_ref: secret://model/backbone_bbaseline_ref: baseline_bdomains: [retrieval, knowledge, swe, code, math]aggregation: macro_equal # 五领域等权平均splits:held_in: {dataset: tasks/in, role: diagnosis_and_improve}held_out: {dataset: tasks/out, role: validation_only, sample_ratio: 0.8}sandbox:cpu: 2memory_gb: 4timeout_seconds: 120network: noneread_only_rootfs: trueexecution:samples_per_task: 1 # Pass@1对应采样次数max_retries: 2concurrency: 32
| 配置项 | 作用 | 风险点 |
|---|---|---|
| aggregation | 决定汇总口径 | 改为按任务数加权平均,会让任务量大的领域主导总分 |
| splits.held_out.role | 限制留出集用途 | 被诊断或改进环节读取,等于数据泄漏 |
| sandbox.network | 控制沙箱外联 | 放开后,被评测代码可能访问外网或内部服务 |
| sandbox.timeout_seconds | 限制单任务执行时长 | 过短造成大量超时误判为失败,过长导致资源被占满 |
| execution.samples_per_task | 采样次数 | 改变后Pass@1口径变化,历史数据不可直接比较 |
| backbones.baseline_ref | 该骨干的对照方案 | 多个骨干共用同一对照,比较结论不公平 |
原则:所有与“比较口径”相关的配置都视为评测契约。变更契约时,必须同步重跑基线对照,并在结果表中记录变更前后版本。
八、示例说明:评测循环与指标计算的通用伪代码
8.1 单轮评测流程
for backbone in backbones:plan = build_plan(backbone, domains, splits.held_in, config.execution)results = run_in_sandbox(plan) # 失败任务按 max_retries 重试report = compute_metrics(results) # 领域Pass@1 + 五领域等权平均record(report, version=(taskset_ver, rubric_ver, backbone_ver))if config.phase == "baseline":save_as(reference[backbone.id]) # 保存该骨干的对照结果
8.2 Pass@1与五领域等权平均
# 任务级:每个任务采样一次,验证通过记1分task_score[i] = 1 if verifier(task[i].output) else 0# 领域级:任务级通过率pass_at_1[domain] = mean(task_score of that domain)# 总分级:五个领域等权平均macro_avg = (pass_at_1[retrieval] + pass_at_1[knowledge] + pass_at_1[swe]+ pass_at_1[code] + pass_at_1[math]) / 5# 若每个任务采样k次且通过c次,可用无偏估计pass_at_1_estimate = c / k
8.3 诊断标准的版本化更新
def evolve_rubric(candidate, failures, legacy_suite):# 1. 诊断:失败样本是否落入现有标准的覆盖盲区if coverage_gap(candidate, failures) == false:return current_rubric # 现有标准足够,不升级# 2. 生成候选标准,记录变更原因与影响范围new_rubric = draft(candidate, failures)new_rubric.version = next_version(current_rubric)# 3. 回归:在旧标准的历史样本上比对,防止标准放宽diff = compare(new_rubric, current_rubric, legacy_suite)if diff.regression_rate > threshold:return current_rubric# 4. 发布新版本,并通知所有评测运行引用新版本publish(new_rubric)return new_rubric
说明:这段逻辑体现了“诊断标准也要跟着变”的落地方式:标准不是固定文档,而是带版本、可回归验证、变更可追溯的运行资产。
九、上线验证:如何判断部署成功
| 验证层面 | 检查内容 | 通过标准 |
|---|---|---|
| 连通性 | 网关到编排、编排到沙箱、沙箱到模型服务的调用链 | 全部返回预期状态 |
| 功能正确性 | 五领域各抽样少量任务 | 结果结构与判分逻辑正确 |
| 指标正确性 | 手工计算小样本的Pass@1与等权平均,与指标服务输出比对 | 误差为0 |
| 隔离性 | 在沙箱内尝试访问数据库端口和外网地址 | 均被拒绝并记录审计日志 |
| 留出集保护 | 检查诊断与改进服务的访问日志 | 无留出集读取记录 |
| 可复现性 | 相同配置重复运行两轮 | 固定随机种子时结果一致 |
| 稳定性 | 以目标并发持续运行30分钟 | 无任务卡死,错误率低于约定阈值 |
| 结果合理性 | 全量运行后的五领域等权平均 | 与本骨干基线对照的差距在合理范围内 |
建议将上述检查整理为上线检查清单,每次发布前逐项核对。
十、常见问题与排查
| 现象 | 可能原因 | 排查与处理思路 |
|---|---|---|
| 大量任务超时失败 | 沙箱超时过短、依赖下载慢、外部接口限流 | 统计超时任务分布,延长超时或预装依赖;为外部调用加入重试与退避 |
| 评测分数异常偏高 | 留出集泄漏、判分器过宽、答案被缓存复用 | 检查数据访问权限与缓存键是否包含运行标识;抽样人工复核判分 |
| 两个骨干分数不可比 | 使用了同一对照、采样参数不同、上下文截断策略不同 | 按骨干分别配置对照与参数,统一上下文处理规则 |
| 领域分数与总分趋势不一致 | 汇总方式被误改为按任务加权 | 核对 aggregation 配置,恢复等权平均 |
| 模型服务频繁重启 | 显存不足、并发过高、长上下文导致缓存膨胀 | 降低批处理并发,限制单请求上下文,必要时增加卡数 |
| 数据库连接耗尽 | 并发评测任务数超过连接池上限 | 增大连接池或引入队列削峰,控制编排并发 |
| 标准更新后分数大幅波动 | 新标准放宽或收紧了判定条件 | 在旧标准样本集上做回归对比,确认差异来源后再发布 |
| 成本突增 | 沙箱弹性扩至上限、重试风暴、留出集重复全量跑 | 设置预算告警与并发上限,失败任务采用指数退避重试 |
十一、运维与优化:上线之后的持续保障
11.1 稳定性保障
- 核心服务多副本部署,配置健康检查与自动重启。
- 编排层对失败任务做指数退避重试,避免“重试风暴”。
- 评测任务按领域分队列,防止单个领域的长任务阻塞其他领域。
- 关键资产(任务集、评分标准、方案库)定期备份,保留可回滚的历史版本。
11.2 安全控制
- 沙箱最小权限、只读根文件系统、默认无外网。
- 模型与存储凭据统一由密钥管理服务托管,定期轮换。
- 评测接口启用身份认证与操作审计,记录“谁在何时跑了什么、用了哪个版本的标准”。
- 留出集等敏感数据加密存储,访问范围最小化。
11.3 性能优化
- 推理层开启批处理与缓存复用,对相同前缀请求共享缓存。
- 沙箱内预装常用依赖,减少每次任务的安装开销。
- 判分器中耗时长的验证(如运行测试)与轻量验证分级执行,优先跑轻量验证。
- 长尾任务单独调度,避免拖慢整体进度。
11.4 监控告警
| 监控对象 | 关键指标 | 建议告警方式 |
|---|---|---|
| 模型服务 | 请求成功率、首字延迟、排队时长、显存占用 | 成功率或延迟连续超阈值时通知 |
| 沙箱池 | 运行实例数、排队任务数、超时率、节点故障数 | 排队积压或超时率升高时告警 |
| 编排服务 | 任务完成速率、失败率、重试次数 | 失败率突变时告警 |
| 指标服务 | 领域分数环比变化、总分波动 | 波动超过预设区间时提示人工复核 |
| 资产层 | 数据库连接数、慢查询、对象存储用量 | 接近配额或出现慢查询时告警 |
| 成本 | 推理调用量、沙箱运行时长、存储增长 | 达到预算比例时告警 |
11.5 扩展性
- 沙箱池按队列长度自动伸缩,闲时缩容。
- 多骨干并行评测时,按模型划分资源池或时间窗口。
- 任务集增长后,关系库可增配只读副本,把结果查询与写入分离。
11.6 成本控制
- 推理与沙箱按需启停,非评测时段释放资源。
- 失败任务限制重试次数,防止无效消耗。
- 历史轨迹和日志配置生命周期规则,冷数据转低频存储。
- 大规模回归前先抽样评估,确认方向有效再跑全量。
11.7 版本与回滚
- 每次发布记录三版本号:任务集版本、评分标准版本、模型版本。
- 结果表以组合版本为主键,保证任何历史结论都可追溯。
- 异常时回滚顺序:先切回上一版评分标准,再切回上一版模型服务镜像,最后恢复配置。
- 容器化部署可借助滚动更新与多版本并存,实现分钟级切流回退。
十二、总结
本文围绕“部署一个能够随智能体自我改进而持续演进诊断标准的评测harness”,从五个方面做了系统说明:
- 明确部署对象:平台化服务,而不是单个脚本。
- 按职责拆解组件:编排、沙箱、模型服务、指标、诊断、资产六类。
- 按顺序完成部署:网络与资源初始化、资产导入、模型服务、执行层、指标与诊断、观测与安全、冒烟上线。
- 用清单化方法验证:连通性、正确性、隔离性、留出集保护、可复现性与结果合理性。
- 上线后持续运维:稳定性、安全、性能、监控、扩展与成本六个方向。
核心观点是:智能体的自我改进会不断制造新的弱点,评测标准若停留在固定版本,就会逐渐失去区分能力。因此,部署阶段就要把“标准版本化、留出集隔离、按骨干维护对照、指标口径统一”作为硬性设计约束。
参考数据表明,同一套持续自改进harness在两个骨干上的留内与留出提升幅度并不相同(高出最强对照1.7分与4.5分)。这也从侧面说明,评测体系的价值不在于给出一个笼统的总分,而在于针对不同模型、不同阶段,持续指出下一步该改什么。
如果团队希望减少自建成本,也可以将模型推理、容器编排、对象存储、关系库、日志与监控等能力交由百度智能云等云平台的通用云产品承载,团队只需专注于任务集、评分标准与诊断逻辑这些真正构成竞争力的部分。
上线检查清单:
- 网络分区分域、安全组策略最小化
- 留出集与留内集物理隔离,权限受控
- 每个骨干配置了自身对照方案
- 评分标准带版本号,变更走回归验证
- Pass@1与五领域等权平均口径写入配置并冻结
- 沙箱只读、限额、禁外网
- 监控告警与预算告警已生效
- 回滚方案与版本记录机制已验证

登录后可评论,请前往 登录 或 注册