logo

先探索后出题:Tool-Calling数据合成指南

作者:菠萝爱吃肉2026.11.17 03:33浏览量:0

简介:Tool-Calling Agent 的训练难点往往在数据,而不只是模型会不会调用工具。本文梳理"先在真实 API 上探索、再反向出题"的数据构造思路,拆解六个工程模块,给出验证器检查清单、模拟器使用边界、评测口径和安全底线。读完可以据此搭建一条可验证的数据流水线。

agent-">一、Agent 训练数据为什么难做

一个可训练的 Tool-Calling 任务通常包含三层信息:

  1. 用户意图:任务要解决什么问题。
  2. 中间工具调用:需要调用哪些接口、参数是什么、按什么顺序调用。
  3. 可验证答案:最终结果能否通过规则、执行结果或标准答案判断。

缺少第二层,模型只能学到问答,学不到决策过程。第三层缺失时,拒绝采样和强化学习都难以给出稳定的奖励信号。公开 benchmark 通常只有几十到几百个任务,对训练来说往往不够。

二、三类构造方式的取舍

方法 优势 局限 适用场景
人工标注 意图自然,答案可靠 成本高,难覆盖长尾接口 高价值、数量少的核心任务
纯模拟合成 规模大,环境可控 工具行为可能偏离真实系统 早期快速迭代
真实工具前向合成 贴近真实调用 任务生成和答案验证复杂 接口稳定、可沙箱化的场景

选择取决于三个条件:答案能否验证、单次调用成本、接口覆盖范围。没有一种方法在所有条件下都最优。实际项目通常混合使用:模拟器扩大规模,真实探索保证保真度,人工标注兜底关键场景。

三、从先出题到先探索

传统流程通常是:

生成用户问题 -> 生成工具调用 -> 执行工具 -> 得到答案

这种顺序的问题在于,生成的问题可能不适合当前接口,调用也可能执行失败,失败样本往往被直接丢弃。

原文介绍的 Firefly 思路调换了顺序:

连接真实 API -> 探索工具 -> 执行调用并记录轨迹 -> 反向出题 -> 验证任务

这样做有三个好处。工具描述、参数约束和返回结构来自真实服务。题目与真实执行结果保持一致。任务分布来自可观察的行为,而不是凭空设想。文中提到的 Firefly 思路及其具体数据规模,请以原始论文为准,本文不引用其中的具体数字。

四、六模块拆解

若要在自己的业务中实现类似思路,可以拆为六个模块。

1. 工具发现

读取 MCP Server 或内部 API 的工具清单,包括名称、描述、参数 schema、返回结构、权限要求和错误码。模型应先知道有哪些工具可用、各自有什么约束,再生成调用。

2. 探索执行

根据工具描述生成候选调用,并在沙箱中执行。常用策略包括单工具调用、多工具串联、参数边界测试和错误恢复测试。探索阶段的目标是轨迹多样性,不必追求每次都成功。

3. 轨迹记录

每条轨迹建议结构化保存:用户输入、工具名、参数、返回状态、错误信息、耗时和最终答案。失败调用和重试过程也要保留,它们是训练纠错能力的重要素材。

4. 反向出题

反向出题是从轨迹中抽取自然任务。把调用过程原样复述成题目,训练价值很低。几个例子:

  • 调用了天气和日程接口,可以出题”判断明天下午是否适合户外会议”;
  • 调用了订单查询和退款接口,可以出题”查询订单状态,符合条件时发起退款”;
  • 出现参数校验失败,可以出题”参数不合法时,如何提示用户补充信息”。

题目难度要与轨迹一致。轨迹只用了一个接口,题目却要求多步推理,两者就错配了。

5. 验证过滤

验证器决定数据质量。建议至少检查以下项目:

  • 工具名存在,参数符合 schema;
  • 调用顺序满足依赖关系,例如先查询订单,再发起退款;
  • 最终答案能由执行结果推出;
  • 相同输入下任务可以重复执行,结果一致;
  • 操作符合权限与安全规则。

伪代码示意如下:

  1. def build_tasks(server, explorer, reverse_generator, verifier, limit=100):
  2. tools = server.list_tools()
  3. dataset = []
  4. for _ in range(limit):
  5. trajectory = explorer.run(server, tools)
  6. task = reverse_generator(trajectory)
  7. if verifier.check(task, trajectory):
  8. dataset.append(task)
  9. return dataset

验证失败的样本不要直接丢弃。每条失败记录应包含样本 ID、失败规则、失败字段、原始调用和修正建议,并按规则统计。如果大量样本都败在同一条规则上,通常说明探索策略或出题提示存在系统性问题。

6. 数据集分层

训练集应覆盖不同难度:简单查询、条件判断、多工具协同、错误恢复和长尾场景。只堆积简单查询,模型遇到复杂业务时会失效。

五、模拟器:扩大规模,但不能替代真实环境

真实探索保真度高,但成本高、速度慢。模拟器可以扩大数据规模。检索增强模拟器的常见做法是检索工具描述、参数 schema、历史轨迹、API 文档、错误码和相似案例,让模拟返回的结构更接近真实系统。

模拟器无法完全替代真实环境,建议这样做:

  • 保留一份真实 API 校准集,定期比较模拟结果与真实结果;
  • 对比两者在返回结构、错误类型和延迟上的分布差异;
  • 发现偏差后修正模拟器,避免模型学会适应虚假的工具行为。

六、评测:不要只看最终答案

指标 含义 作用
任务成功率 是否完成用户目标 衡量整体可用性
工具选择准确率 是否选对工具 判断意图理解
参数填充准确率 参数是否正确 判断结构化输出
最终答案正确率 答案是否正确且可验证 判断结果可靠性
平均调用步数 完成任务所需的调用次数 衡量效率
错误恢复率 失败后能否修正 衡量鲁棒性

评测口径需要单独说明,常见有三种:

  • 离线回放:用已记录的轨迹回放,成本最低,但无法发现新的调用错误;
  • 真实执行:在沙箱或只读环境中实际调用,结果最可信,但速度慢;
  • 模拟器校准集:在模拟器上评测,并用真实校准集核对偏差。

同一指标在不同口径下的数值不能直接比较,报告时应标注口径。

强化学习奖励可以综合这些信号,例如答案正确、调用合法、参数正确、步数合理。涉及高风险操作时,还要加入安全约束:越权访问和敏感数据泄露直接扣分,或拒绝执行。

七、企业落地:从内部 API 开始

  1. 梳理内部 API、数据库、工单、CRM、ERP 等工具,标注每个工具是读操作还是写操作;
  2. 建立沙箱环境,使用测试数据,避免误操作生产数据;
  3. 探索所用的账号采用最小权

发表评论

活动