智能体评测指南：从样本到选型的可复现方法

一、概述与适用边界

智能体评测是度量智能体在任务执行、决策和用户交互中表现的工作。智能体会进行多步推理、调用工具、访问外部系统，并根据反馈调整动作。因此，评测对象是一条完整的执行链路，单次回答的质量只是其中一部分。

一套可复现的评测方案包含四项要素：评测框架，定义运行流程与执行方式；标准任务集，即固定的输入与期望目标；统一的评价指标，说明如何判定成功与计分；基线，即用于对比的参照结果。缺少任一要素，结果都难以复现，也无法与其他方案比较。

本文覆盖编码类、研究分析类、计算机操作类和对话类四种智能体。方法不依赖特定厂商或工具，读者可替换为自己的技术栈。

评测结论有明确边界。同一个智能体在客服问答中表现良好，在长链路自动化运维中可能频繁失败。因此，每份报告都要写明业务场景、数据规模、模型与工具版本，以及单次任务的成本。超出这些条件的结论需要重新验证。

二、样本设计与基线

2.1 样本来源与分层

样本优先取自真实业务日志。取样前完成脱敏：手机号、身份证号、银行卡号、邮箱和客户姓名替换为合成值，并保留原有格式，以便测试解析逻辑。脱敏后的数据存放在独立的测试环境中，评测账号只授予完成任务所需的最小权限。

按三个维度分层抽样：业务流程节点（如查询、判断、执行、确认）、任务难度（单步、多步、含异常分支）、出现频率（高频、低频）。高频需求必须全部纳入，低频需求按比例抽取。

样本量直接影响结论的可信度。以成功率 90% 为例，每个场景 30 条样本时，近似 95% 置信区间的宽度约为正负 11 个百分点。若要把区间缩小到正负 5 个百分点左右，每层样本量需要接近 140 条。团队应根据可接受的误差确定样本量，并把计算依据写入报告。

每条样本应包含：输入内容、期望结果或判定规则、允许的等价输出形式、涉及的工具与所需权限。

2.2 基线建立

基线用于判断提升或退化是否真实存在。常用三类基线：

• 人工基线：由熟练人员完成同一批任务，记录耗时与结果。
• 上一版本基线：当前生产版本在同一批样本上的结果。
• 简