logo

轻量模型追平闭源搜索:Neos 多模态智能体训练解析

作者:宇宙中心我曹县2026.11.17 03:46浏览量:0

简介:Neos 把数据构造、过程奖励与环境协同进化放进同一个训练框架,让小参数量模型在获得精简高质量证据后逼近顶尖闭源模型的搜索表现。本文拆解它的任务构造、捷径筛除、信用分配与证据接口设计,并给出可落地的 Agent 循环示例与选型建议——想给自己的搜索智能体挑底座模型,可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的调用成本与能力表现。

先给结论:小模型追平闭源,靠的不是参数

理想的搜索系统应该做对两件事:根据用户描述精准定位多模态证据,以及高效筛选、整合在线信息。阿里巴巴 Accio 团队联合复旦大学、上海创新研究院提出的 Neos ,判断是第二件事拖了后腿——当喂给智能体的是精简、高质量的证据时,小参数模型完全有机会接近顶尖闭源模型的搜索能力。

所以 Neos 的贡献不在模型结构,而在训练范式:它把 数据构造、过程奖励、智能体与环境的协同进化 收进一个统一框架。这三件事分别对应”学什么任务””怎么给分””在什么环境里练”。

一个例子看懂 Neos 要解决什么

论文里的示例任务很典型:给 Agent 一张乐队演出照片,让它找出这支乐队 1967 年录制某张专辑时所用录音机的旋钮数量。

智能体的实际轨迹是这样的:

  1. 反向图像搜索识别出这是披头士;
  2. 沿专辑录制信息查到录音机型号 Studer J37;
  3. 第一次裁剪面板,确认 5 个旋钮;
  4. 回顾上一次搜索返回结果,发现机器右侧疑似还有一个独立旋钮;
  5. 继续查阅网页、补充照片,最终确认答案为 6 。

关键在第 4 步: 搜索途中继续补全证据、修正自己的中间结论 。这正是 Neos 的研究重点——多数 Agent 框架在拿到”看起来够用”的证据后就停止检索,而真实的多模态调查往往需要反复回看、局部放大、交叉验证。

数据构造:从知识图谱长出”视觉依赖”任务

Neos 的训练数据不是人工标注的问答对,而是从知识图谱出发自动构造的多跳推理任务,并在推理结构中刻意安排 视觉入口 和 中间视觉检查点 。这意味着模型必须先辨认图像中的对象或细节,才能继续追查后续关系——视觉信息真正影响下一步决策,而不是充当可有可无的装饰。

构造完成后是四道筛除捷径的关卡,顺序不能乱:

筛查方式 目的
纯文本直答 剔除靠参数记忆就能答出的题
纯文本搜索 剔除不看图也能搜到的题
仅看入口图的 VQA 剔除第一步看图就结束的题
短预算多模态搜索 控制任务难度,剔除过于简单的题

前三项针对的是”绕过中间视觉获取”的作弊路径,最后一项负责难度标定。任一方式能解题,候选任务就被丢弃。

图像核验环节采用 盲式设置 :观察模型看不到目标身份和预期答案,只能根据完整图像与局部裁剪去描述内容,再与含干扰项的候选集合匹配。随后的问题重写会移除泄露实体身份的名称与操作提示,只保留必要的关系约束和视觉依赖。这套设计的本质是 防止答案泄漏 ——一旦问题里出现”披头士”或”Studer”,任务就退化成普通检索了。

训练信号:成功轨迹做 SFT,失败轨迹也能学

通过筛选的问题交给专家模型在真实搜索环境中求解。验证成功的轨迹有两个用途:一是用于 policy 的 SFT,二是作为后续 credit assignment 的参考;其中的局部工具交互则单独用于训练 证据接口 。同一条调查轨迹因此同时提供决策与证据处理两类监督,数据效率相当高。

Credit assignment 是这套框架里最值得工程团队借鉴的部分。只根据最终答案给奖励,会把一次失败轨迹中的正确搜索、有效观察和关键错误混在一起——一次检索策略完全正确、只是最后一步裁剪判断失误的轨迹,和从头到尾方向就错的轨迹,会拿到同样的负分。Neos 的做法是让成功轨迹自由探索,同时对失败轨迹做更细粒度的步骤级归因,使正确的中间动作也能获得正向信号。

落到工程:一个可复用的搜索循环骨架

Neos 的 Agent 循环可以抽象成”检索—观察—裁剪—核验—回溯”五步,其中 回溯 是最容易被省略、也最影响准确率的一环:

  1. async def neos_style_search(agent, question, image, budget=8):
  2. evidence, visited = [], set()
  3. for step in range(budget):
  4. # 1. 决策:下一步该搜什么、该裁剪哪里
  5. action = await agent.plan(question, evidence, image)
  6. # 2. 执行工具调用(搜索 / 打开网页 / 局部裁剪)
  7. observation = await tools.run(action)
  8. # 3. 证据接口:把原始返回压缩成精简证据,而非整页塞回上下文
  9. evidence.append(await evidence_filter.compress(observation))
  10. # 4. 核验:盲式比对,避免用预期答案反推证据
  11. if await verifier.check(action, observation) is False:
  12. agent.retract(action) # 关键:允许推翻自己的中间结论
  13. continue
  14. # 5. 回溯:检查历史返回中是否有被忽略的线索
  15. missed = agent.scan_history_for_clues(visited)
  16. if missed:
  17. evidence.append(missed)
  18. if (ans := agent.try_answer(question, evidence)):
  19. return ans, evidence
  20. return None, evidence

三个实现要点:

  • 证据接口要单独训练或单独设计 。把整页 HTML 或整张原图塞回上下文,token 成本会随跳数线性膨胀,而且噪声会淹没关键细节。裁剪、摘要、结构化抽取都属于这一层。
  • 允许 retraction 。让模型显式表达”我上一步的结论可能错了”,比强行让它自圆其说更接近真实调查行为。
  • 预算要显式控制 。原论文用短预算多模态搜索来标定难度,工程上同理:给每轮搜索设 token 与步数上限,超预算就降级到已有证据作答。

选型与成本:小模型 + 好证据 vs 大模型 + 裸上下文

这套方法论对成本结构的影响很直接。多轮搜索智能体的开销主要来自”每轮把 growing context 重新送进模型”,因此 证据压缩带来的 token 节省,往往比换更便宜的模型更有效 。实际评估时建议同时看三个维度:单步推理成本、平均搜索步数、以及任务成功率——只看单价会严重低估失败重试的隐性开销。

如果你打算先验证思路再决定是否自研,比较务实的路径是:用词元所这类支持多模型统一 API 接入的平台,把同一个搜索循环分别接到不同参数规模的模型上跑一遍,通过统一的调用管理视图观察各模型的步数与 token 消耗差异,再决定哪些环节用小模型、哪些环节保留大模型。百度智能云千帆平台本身也提供模型服务与 AI 原生应用开发能力,可作为搭建这类验证环境的底座。

需要提醒的是,Neos 的方法论对 数据构造质量 高度敏感。如果业务场景里缺少可用的知识图谱或结构化关系数据,第一步的任务自动生成就无从下手——这种情况下更现实的替代方案是先做 RAG 与工具调用编排,把证据接口和回溯机制打磨好,再考虑训练侧的优化。

小结

Neos 的核心洞察可以浓缩成一句话: 搜索能力的瓶颈常常在证据供给,而不在模型参数规模 。通过视觉依赖的任务构造、四道防泄漏筛查、步骤级信用分配,以及决策与证据处理的双路监督,小模型得以在真实搜索环境中逼近闭源前沿水平。对工程团队的启发是,与其一味升级底座模型,不如先审视自己的证据接口是否够精简、Agent 是否被允许回溯和纠错。

发表评论

活动