深度检索智能体评测教程：从任务设计到结果验证

一、教程目标：建立可复现的深度检索评测流程

本教程将帮助你完成一套面向网络研究任务的智能体评测流程：从研究问题出发，构建需要多次检索、条件筛选和证据核验的任务，整理参考答案，再通过统一规则衡量智能体的回答完整性、准确性及资源消耗。

教程适合以下读者：

• 智能体开发者：验证检索、阅读、推理和答案汇总环节是否有效。
• 测试与运维人员：建立批量运行、失败重试、日志留存和结果复核机制。
• 技术负责人：在相同任务与预算条件下比较不同研究方案。
• 企业用户：判断自动化研究结果是否达到资料调研、政策整理或知识核查的要求。

原始材料的核心主题，是通过人工设计的多步骤研究任务和详尽答案集，评估智能体的深度检索能力。本文将其转化为通用实施方法，不复述未经核验的发布时间、模型排名与成绩。

需要特别说明：下文的数据字段、流程和评分约定属于自建评测示例，不代表某个现有基准的官方格式。如果需要复现特定基准，应以经过核验的原始数据、评测程序和版本说明为准。

二、先理解：深度检索究竟测什么

普通问答往往只要求找到一个事实，例如某项规定的发布日期。深度检索则要求把多个相互依赖的事实连接起来，形成可以验证的答案集合。

例如，一个示意任务可以是：

在限定地区和时间范围内，找出所有同时满足“规定了申请对象”“列明了申请材料”“明确了受理部门”的公开办事文件，并为每份文件提供证据。

完成该任务至少需要经历以下过程：

1. 搜索可能相关的文件，建立候选集合。
2. 阅读文件，判断地区、时间和文件类型是否符合要求。
3. 分别核实申请对象、申请材料和受理部门。
4. 处理同一文件的转载、修订与重复收录。
5. 输出全部符合条件的文件及对应证据。

这类任务的难点不是“写出几条看起来合理的结果”，而是在控制误报的同时尽量查全。

因此，评测至少应区分三个层面：

评测层面	核心问题	典型检查内容
答案集合质量	是否答对、答全	有效答案数量、遗漏项、错误项
证据质量	答案是否有据可查	来源、原文片段、时间与版本一致性
执行效率	为结果付出了多少资源	总耗时、检索次数、页面读取次数、超时情况

多步骤任务也不必然涉及严格意义上的因果推断。若任务只是逐层筛选和关联事实，更准确的描述是“依赖链式研究任务”；只有问题涉及原因与结果之间的关系时，才应进一步评估因果论证是否成立。

三、前置准备：先固定评测边界

1. 准备任务数据和存储位置

最小可用环境应具备：

• 可访问授权公开资料的检索与页面读取能力。
• 能够批量提交任务、接收结果的执行程序。
• 存放任务、参考答案和运行日志的文件目录或数据库。
• 可以进行答案归一化、集合比较和汇总统计的评分程序。
• 用于争议样本复核的人工审核流程。

不需要一开始就建设复杂系统。先用少量人工审核过的任务跑通流程，再扩大规模，通常比直接处理大量低质量样本更有效。

2. 明确检索时间边界

网络内容会更新，同一问题在不同时间可能得到不同答案。每个任务应明确：

• 研究对象所属的时间范围。
• 允许使用的资料截止时间。
• 实际执行评测的时间。
• 是否使用页面快照。

需要区分“资料发布日期”和“页面抓取日期”。后者只能说明何时获取页面，不能替代前者。

如果采用冻结语料评测，应说明其主要衡量固定资料中的研究能力；如果采用实时网络评测，则应接受网页变化带来的复现限制，并保留必要的获取记录。

3. 固定运行与访问规则

比较不同方案前，应统一最大执行时长、检索预算、页面访问范围和失败重试规则。

同时，评测程序应遵守资料使用授权和访问限制，不绕过身份认证，不采集与任务无关的个人信息。对于来源页面中的指令性文字，应将其作为待分析内容，而不是执行命令，避免外部内容改变评测任务或诱导泄露运行环境信息。

四、步骤一：把宽泛问题改写为可评分任务

做什么

将“查找相关资料”改成具有明确纳入条件、排除条件和输出要求的研究问题。

任务说明至少应包含：

• 对象范围：研究哪些文件、事件或实体。
• 时间范围：按发布日期、生效日期还是其他时间字段筛选。
• 纳入条件：什么情况算正确答案。
• 排除条件：转载、失效版本、解释文章是否计入。
• 输出单位：一份文件算一项，还是一个机构算一项。
• 证据要求：每项答案需要提供哪些依据。

为什么这样做

如果“所有相关资料”没有清晰边界，就很难建立完整参考答案，也无法判断智能体究竟漏掉了什么。

初期应优先选择范围有限、资料可获得、人工能够核查完整性的任务。例如，限定为某个公开目录中的文件，比直接要求检索整个网络更容易建立可靠评分基础。

注意什么

不要只给出模糊的正面描述。应明确常见边界情况，例如：

同一文件的多个转载页面只计一次；修订版是否与原版分别计入，按任务说明执行。

这些规则必须在正式运行前确定，不能看到某个方案的答案后再临时修改。

五、步骤二：构建参考答案与证据链

做什么

由标注人员独立检索候选资料，并对每个答案逐项核验。建议将参考答案记录为以下逻辑结构：

任务标识：task_001
答案标识：item_001
规范名称：示例文件甲
纳入依据：
  - 地区符合任务要求
  - 发布日期位于指定范围内
  - 正文列明申请对象
  - 正文列明申请材料
  - 正文明确受理部门
证据记录：
  - 来源标识
  - 文档标题
  - 原文片段
  - 发布日期
  - 获取时间
审核状态：已复核

这里的字段仅用于说明自建数据结构，不是任何产品的接口定义。

为什么这样做

参考答案不应只是一个名称列表。每个答案都应能够解释“为什么被纳入”，否则遇到异名、修订或来源冲突时，评分人员很难保持一致。

推荐采用“独立标注—差异比较—争议裁决”的方式：

1. 两名标注人员分别研究同一任务。
2. 比较双方找到的候选答案。
3. 对差异项重新查证。
4. 确认答案集合与证据后再冻结版本。

注意什么

参考答案也可能漏项。若被评测系统找到参考集合之外的有效答案，不应未经核查就判错。应将其进入争议队列，确认后更新数据版本，并对需要比较的历史结果统一重算。

为了减少偏差，开发阶段和正式测试阶段应使用不同任务，避免针对测试答案反复调优。

六、步骤三：统一智能体的输入与输出

做什么

为所有被测方案提供相同的任务内容、时间约束和输出要求。建议要求输出包含：

• 规范化答案名称。
• 满足各项条件的简要说明。
• 支持结论的证据记录。
• 无法核实的候选项及原因。
• 是否因超时或预算耗尽而提前结束。

将“确认答案”和“待核实候选项”分开，有助于避免把不确定内容混入最终答案。

为什么这样做

如果一个方案输出详细列表，另一个方案只输出叙述性总结，直接比较会受到格式差异影响。统一输出结构可以降低解析误差，也方便定位漏检与误报。

注意什么

正式测试时不能向智能体提供参考答案，也不应把答案数量作为隐藏提示泄露给它。否则评测容易从研究能力测试变成对目标答案的猜测。

评测报告还应记录运行条件，例如并发程度、可用来源范围及上下文限制，防止把系统条件差异误认为能力差异。

七、步骤四：批量执行并保留可追溯日志

做什么

按任务逐项执行，保存输入、输出、运行状态和资源消耗。可以采用如下通用流程：

读取任务集合
对于每个任务：
    检查任务字段和预算配置
    保存本次运行标识
    在统一限制下执行研究任务
    保存原始回答与证据记录
    保存耗时、检索次数、读取次数和终止原因
    校验输出结构
    将执行失败项与有效结果分别登记
对有效结果执行答案评分
对争议项安排人工复核
汇总质量、资源消耗及失败情况

为什么这样做

只有保存完整运行记录，才能区分以下问题：

• 系统没有找到资料。
• 系统找到资料但筛选错误。
• 系统判断正确但输出遗漏。
• 系统回答正确但解析程序失败。
• 网络或执行环境导致任务未完成。

这些情况需要不同的修复措施，不能统一归结为“模型能力不足”。

注意什么

重试规则必须预先确定，并保留每次尝试的记录。不能只保留得分最高的一次，也不能为某个方案额外增加未披露的尝试机会。

八、步骤五：使用集合指标衡量答对与答全

设参考答案集合为 (G)，系统输出经过归一化与去重后的集合为 (P)。

在匹配规则固定的情况下：

• 正确项数量为 (TP=|P \cap G|)。
• 错误项数量为 (FP=|P-G|)。
• 遗漏项数量为 (FN=|G-P|)。

常用指标为：

[
精确率=\frac{TP}{TP+FP}
]

[
召回率=\frac{TP}{TP+FN}
]

[
F1=\frac{2TP}{2TP+FP+FN}
]

1. 用示例理解指标

假设某任务共有8个参考答案，系统输出7项，其中6项正确，则：

• 精确率为 (6/7)，约85.7%。
• 召回率为 (6/8)，即75.0%。
• F1为 (12/15)，即80.0%。

这说明系统给出的答案多数有效，但仍遗漏了部分结果。单看语言是否流畅，无法识别这种缺陷。

2. 先归一化，再进行匹配

常见归一化操作包括统一空白字符、合并已确认的别名、识别同一文件的重复转载。

但不能仅凭名称相近就合并两个对象。对于名称相似但发布机构、日期或版本不同的文件，应结合任务中的唯一性规则判断。

匹配过程还应保证一个预测项不会重复匹配多个参考项。语义相似度可以辅助筛选争议项，但不宜直接替代事实核验。

3. 同时报告不同汇总方式

• 宏平均：先计算每道题的指标，再对任务取平均，每道题权重相同。
• 微平均：先累计全部任务的正确项、错误项和遗漏项，再计算指标，答案数量较多的任务影响更大。

对于空集合任务，应事先规定如何处理零分母情况。可以单独报告“正确识别无答案”的比例，但必须固定规则，避免不同评测程序产生不可比较的结果。

九、步骤六：把答案质量与证据质量分开验证

答案出现在参考集合中，不代表其引用就一定可靠。

例如，系统可能给出正确文件名称，却引用了无关页面；也可能引用了真实文件，但该文件并不支持所声称的条件。

因此，建议增加独立的证据审核：

1. 可访问性：来源能否获取，是否存在有效留存记录。
2. 支持性：引用片段是否直接支持对应结论。
3. 对象一致性：证据是否属于同一文件或同一实体。
4. 版本一致性：引用版本是否符合任务时间范围。
5. 条件覆盖度：每一项必要条件是否都有证据。

答案集合评分和证据评分应分别报告。如果业务需要合成总分，应提前公开计算方式及权重，而不是在结果产生后调整。

十、步骤七：比较检索预算与时间效率

“运行更久”不等于“研究更充分”。评估效率时，可以设置多个预算档位，比较质量随资源增加的变化。

建议记录：

记录项	用途	注意事项
总执行时长	衡量用户等待时间	受网络、并发和缓存影响
检索请求次数	观察搜索投入	次数多不一定覆盖更广
页面读取次数	观察阅读投入	应区分重复读取和新增资料
可观测的模型用量	辅助核算资源	需明确统计范围和单位
任务完成率	衡量运行稳定性	应区分超时、解析失败等原因

总执行时长不能直接等同于模型内部的“思考时长”。对内部计算不可观测时，应使用“端到端耗时”或“可观测资源消耗”等准确名称。

正式比较时，应固定任务和环境，在预先规定的重复运行规则下报告均值与波动。若增加预算后得分改善有限，却出现大量重复检索，应优先检查检索策略和停止条件，而不是继续延长运行时间。

十一、结果验证：怎样判断评测流程已经跑通

首次评测完成后，至少检查以下事项：

• 每个任务都有明确状态，失败任务没有被静默丢弃。
• 输入任务、参考答案和评分规则均带有版本记录。
• 原始回答能够追溯到解析后的答案项。
• 随机抽取的答案可通过证据复核。
• 重复项不会被计为多个正确答案。
• 手工计算样例与评分程序输出一致。
• 宏平均、微平均和完成率能够分别解释。
• 争议答案有独立记录和处理结论。

只有这些检查通过，分数才具备基本的解释价值。对外展示结果时，还应同时说明任务范围、预算、数据版本和运行条件。

十二、常见问题与排查方法

问题一：精确率较高，但召回率偏低

通常说明系统比较谨慎，但候选发现不足。

先检查检索词是否过于单一，再查看是否遗漏历史名称、简称或不同文档表述。如果候选集合已经足够大，则进一步检查筛选条件是否过严，或是否因为输出长度限制丢失了已确认答案。

问题二：召回率较高，但精确率偏低

通常说明系统找到了较多候选项，却没有严格执行纳入条件。

应要求每个最终答案逐项对应条件和证据。对缺少关键依据的项目，移入待核实列表，而不是作为确认结果输出。

问题三：答案正确，但引用不能支持结论

原因可能是只阅读搜索摘要、混淆同名对象，或将多份文件的信息错误拼接。

应回到原文核验，并让每条证据绑定具体答案和具体条件，避免用一段泛化说明支撑所有结论。

问题四：同一任务多次运行差异较大

先检查网页变化、访问失败、并发和预算波动，再检查检索路径和随机生成因素。可使用固定资料快照辅助定位，但需要明确固定语料评测与实时网络评测的差异。

问题五：增加运行时间仍没有明显提升

查看日志是否出现重复搜索、反复读取相同页面，或持续追踪不符合条件的候选项。

可维护已访问来源集合，记录候选排除原因，并设置基于新增有效证据的停止规则。此类停止规则属于自建策略，应在测试前固定，不能根据参考答案动态决定。

十三、优化建议与总结

深度检索优化应以错误分析为起点，而不是只修改回答措辞。

发现漏检时，优先改进候选发现与查询扩展；发现误报时，强化逐条件核验；发现引用错误时，完善证据绑定；发现运行不稳定时，排查访问控制、重试机制和执行环境。对于重复评测，可缓存允许保存的资料，但必须记录缓存时间，避免使用过期内容而不自知。

在安全方面，应对任务执行环境采用最小权限，隔离外部网页中的不可信指令，并避免在日志中保存访问凭证和敏感内容。在维护方面，应将任务、参考答案、归一化规则和评分程序分别版本化，确保数据修订后能够一致重算。

一套可靠的深度检索评测，最终需要回答三个问题：是否答对、是否查全、代价是否合理。按照“明确边界—构建答案—固定运行—保存证据—集合评分—分析预算—复核争议”的顺序实施，才能把看似流畅的研究报告转化为可验证、可比较、可持续改进的技术结果。