Agent离线评估与线上评估的5个断层
作者:问题终结者2026.11.16 10:38浏览量:0简介:本文对比理想化离线评估与生产级线上评估,解释Agent离线通过率高但上线失败的原因,拆解数据分布、工具环境、执行轨迹、副作用安全、恢复与成本五个断层,并给出评估集建设、故障注入、轨迹评分、权限与灰度上线建议,帮助团队建立分层评估体系,降低上线风险。
agent-5-">Agent离线评估与线上评估的5个断层
一、对比背景与对象定义
很多团队在Agent上线前会准备数百条测试用例,离线通过率看起来很高,但上线后仍然出现工具选错、参数不合法、答案正确但副作用错误、换个说法就失败等问题。根本原因通常不是模型突然变差,而是离线评估体系与线上真实运行环境之间存在断层。
本文对比的两类对象是:
- 理想化离线评估:在开发期使用固定评估集、Mock工具返回值、标准答案和较理想的上下文,快速验证Agent的流程、答案和基础能力。
- 生产级线上评估:面向真实流量、真实或高保真工具环境,同时评估工具选择、参数合法性、执行轨迹、业务状态、副作用、失败恢复、权限边界和成本。
二者不是替代关系,而是分层互补关系。离线评估适合快速回归,线上评估适合判断Agent能否在真实业务中安全完成任务。
二、相同点分析
两类评估的目标一致:都是为了判断Agent是否“可用”。它们都需要明确的评估指标、可重复的用例、版本化管理,以及针对核心意图的覆盖。离线评估和线上评估也都需要关注最终答案质量、工具调用情况和任务完成率。
但相同点只停留在目标层面。真正决定上线效果的,是评估对象、评估环境和评估粒度是否足够接近生产。
三、核心差异总览
| 对比维度 | 理想化离线评估 | 生产级线上评估 |
|---|---|---|
| 评估数据 | 手工编写、表达完整、Happy Path较多 | 真实脱敏流量、口语指代、多意图、缺失参数 |
| 工具环境 | Mock固定返回、工具通常成功 | 超时、限流、权限拒绝、字段缺失、状态冲突 |
| 评估对象 | 最终答案是否接近标准答案 | 答案、工具选择、参数、轨迹、副作用、恢复能力 |
| 安全边界 | 较少覆盖越权、租户隔离、敏感操作 | 必须覆盖权限、审计、幂等、业务状态合法性 |
| 失败恢复 | 工具永远成功,恢复能力难被触发 | 故障注入、重试、降级、人工接管 |
| 成本与可观测 | 关注通过率 | 关注调用次数、延迟、资源消耗、日志与追踪 |
| 上线决策 | 辅助开发回归 | 辅助灰度、回放、监控和风险控制 |
四、五个评估断层逐一分析
断层一:评估集与生产流量分布不一致
离线评估集常由开发者手工编写,问题表达完整、上下文充足、工具路径清晰,参数也刚好符合预期。但真实用户输入可能是:“订单那个怎么还没到?昨天买的,地址好像也填错了。”其中包含指代、口语、多个意图和缺失参数。如果评估集只覆盖理想路径,离线分数再高也不能代表生产表现。
更合理的评估集应包含真实脱敏任务、高频意图、长尾意图、多轮对话、信息缺失与歧义、权限不足、工具失败、用户中途改变目标、恶意输入和提示注入。评估集还需要版本化,并定期从线上失败案例和人工反馈中补充,而不是维护一份永不变化的“标准答案集”。
断层二:环境太理想,Mock掩盖真实失败
离线评估经常把工具替换成固定返回值,例如订单查询永远返回待处理、支付永远成功、搜索永远有结果。这样能快速验证流程,但无法覆盖接口超时、返回字段缺失、权限被拒绝、限流、重复请求、下游状态冲突和工具版本变化。
更接近真实的方案是使用可编程Stub环境,注入延迟、错误和部分成功;对工具参数做严格校验;记录工具调用序列;对高风险工具使用与生产一致的权限策略;对关键工具做契约测试。评估环境必须允许Agent失败,否则错误恢复能力根本没有被评估。
断层三:只看最终答案,不看执行轨迹
一个Agent最终说出了正确的订单状态,但中间可能调用了错误的查询工具、查询了其他租户的数据、使用了越权参数,或者绕过了必要的确认步骤。离线评估如果只看最终答案,就会把“结果碰巧正确”误判为“过程安全可靠”。
生产级评估需要同时检查工具选择准确率、参数合法率、越权调用率、调用顺序合规性、租户隔离、敏感操作确认和副作用断言。换句话说,Agent不仅要答得漂亮,还要按正确路径、正确权限、正确状态完成任务。
断层四:忽略副作用与业务状态合法性
参数格式正确不代表业务状态合法。例如参数看起来合法,但订单已关闭、库存已冻结、用户无权限、重复提交已产生副作用。离线环境如果没有真实写入或高保真沙箱,就很难发现这类问题。
改进方式是建立副作用断言和业务状态机校验:在沙箱或影子环境中模拟写入,检查幂等性、事务边界、回滚策略和审计记录;对高风险工具增加人工确认或二次校验;对敏感操作限制权限并记录完整轨迹。答案正确只是最低要求,操作安全才是上线底线。
断层五:忽略失败恢复、成本与长期运行
离线评估中工具通常永远成功,Agent的重试、降级、超时处理和人工接管能力很少被触发。线上却可能遇到限流、超时、重复请求、下游不可用和部分成功。此时Agent是否能停止、重试、切换方案或明确告知用户,决定了真实任务成功率。
此外,生产评估还要关注成本与可观测性:工具调用次数、模型调用量、延迟、资源消耗、日志追踪和告警。单次正确不等于长期稳定,Agent评估必须从“答案评估”升级为“任务生命周期评估”。
示意性伪代码如下:
def run_eval(agent, cases, env):metrics = []for case in cases:trace = agent.run(case.input, env)metrics.append({"final_ok": judge_final(trace.final, case.expected),"tool_ok": judge_tools(trace.tool_calls, case.allowed_tools),"param_ok": validate_params(trace.tool_calls),"trajectory_ok": judge_trajectory(trace.steps, case.expected_path),"side_effect_ok": check_side_effects(trace.effects, case.allowed_effects),"recovery_ok": judge_recovery(trace.errors, case.fault_profile),"cost": estimate_cost(trace),})return aggregate(metrics)
五、典型场景选择
研发早期可优先使用离线评估做快速回归,但必须加入高保真关键路径;上线前应补充真实流量回放、影子和故障注入;生产灰度阶段要持续监控轨迹、副作用和恢复指标;高风险业务应优先建设权限一致、轨迹可审计、副作用可断言的评估环境。离线评估负责“快”,线上评估负责“真”,二者分层配合更合理。
六、选型建议与迁移注意事项
如果团队仍在早期,建议以离线评估为主,同时把失败案例回流机制建好;如果准备上线,应补齐生产流量回放、工具契约测试和故障注入;如果业务涉及资金、权限或不可逆操作,应优先评估轨迹与副作用,而不是只看答案通过率。
迁移时要注意评估集脱敏与版本化、工具接口契约稳定、权限策略一致、轨迹日志完整、指标口径统一、回放环境隔离和成本预算。不要用一份理想化评估集直接做上线决策,也不要用线上监控完全替代可重复的离线回归。
七、总结
离线评估回答的是“输出像不像正确答案”,生产级评估回答的是“Agent能否在真实环境中安全、稳定、低成本地完成任务”。五个断层分别来自数据分布、工具环境、执行轨迹、副作用安全和失败恢复成本。只有把离线评估与线上评估组合成分层体系,才能避免“离线全过、上线不行”的落差。

登录后可评论,请前往 登录 或 注册