大模型60分到90分:下一代两条路线对比
作者:梅琳marlin2026.11.16 10:44浏览量:0简介:本文对比语言中心大模型的持续提升与流程智能、视觉基座两条下一代路线,分析二者在能力来源、推理决策、数据依赖、落地边界上的差异,并给出不同团队和场景下的选型与迁移建议。
一、对比背景:从“60分到90分”到“0分问题”
过去几年,通用大模型在语言理解、数学推理、代码生成、知识问答等任务上取得了明显进展。一个常见判断是:四年前大模型也许只能完成“60分”的任务,现在已经能接近“90分”;但对于原本模型完全不会、缺乏训练支撑、缺乏可解释步骤的“0分”任务,进展仍然有限。
这说明当前能力提升更多体现为“在已有任务边界内把分数做高”,而不是自然扩展到全新任务、全新感知方式和全新决策逻辑。由此,下一代AI的突破不能只依赖模型参数规模、上下文长度或普通文本能力的继续堆叠,而需要重新思考能力来源、知识组织方式和学习范式。
本文的对比对象不是简单的产品选型,而是两条候选的下一代基础路线:
- 流程智能路线:从已有推理过程、任务解决过程和操作经验中抽取可复用的“流程性知识”,让模型在复杂任务中不仅给出答案,还能复用有效的解决步骤、决策路径和操作策略。
- 视觉基座路线:探索语言之外的基础模型形态,让模型能够像学习语言规律一样,从大量无标签视觉数据中学习物体运动、空间关系、时序变化、场景结构等规律,从而增强对物理世界和复杂环境的理解。
同时,本文也会把当前以语言理解为核心的通用大模型作为参照基线,帮助读者理解三条技术路径之间的关系:当前语言大模型负责提升既有任务分数,流程智能负责增强复杂任务复用,视觉基座负责补足语言模型之外的感知与空间理解能力。
二、对象定义:两条路线分别解决什么问题
1. 流程智能:让模型复用“怎么做”
流程智能的核心目标,是让模型在解决复杂任务时不再只是“凭上下文临时生成”,而是能够调用、组合、复用过去已经形成的问题解决方法。
这类方法通常不依赖单一答案,而是关注任务完成过程。例如:
- 数学题中先识别问题类型,再选择公式,再分步计算;
- 编程任务中先定位输入输出,再设计数据结构,再编写和调试;
- 企业流程中先确认身份权限,再查询数据,再触发审批;
- 复杂客服场景中先澄清用户意图,再调取知识库,再生成处理方案。
研究思路上,流程智能尝试从已有推理过程中抽取流程性知识,形成可检索、可复用、可组合的流程集合。材料中提到,有研究从已有推理过程中提取了约3200万条流程性知识,用于提升模型在复杂任务中的推理和决策能力。这个方向的关键价值在于:它把“经验”显式地变成模型可用的中间资源,而不是完全隐藏在模型参数里。
2. 视觉基座:让模型理解“看得见的世界”
视觉基座路线的核心目标,是让模型不只处理文本,而是直接从图像、视频、三维场景、传感器信号等视觉数据中学到规律性知识。
当前一些模型可以生成逼真图像,也可能完成图像分类、检测、描述等任务,但从海量无标签视觉数据中学习运动规律、空间关系、物体交互、场景演化等基础能力,仍然不够成熟。视觉基座希望解决的是更底层的问题:
- 如何从视频预测物体下一步运动?
- 如何从多视角数据理解空间结构?
- 如何从无标签视觉数据中学到可迁移的视觉表征?
- 如何让模型在自动驾驶、机器人、工业检测、数字孪生等场景中具备稳定的感知和预测能力?
这条路线更接近“为机器准备基础感知能力”,因此比单纯提升文本推理更基础,但难度也更高。
三、相同点:为什么它们都被视为下一代突破方向
虽然流程智能和视觉基座侧重点不同,但二者在目标和技术逻辑上存在共同点。
1. 都试图解决“只会高分,不会迁移”的问题
当前大模型在常见任务上可能表现很好,但面对分布外任务、长尾场景、复杂决策链条时,稳定性仍然不足。流程智能希望通过复用解决流程提升复杂任务能力;视觉基座希望通过学习真实世界规律提升跨场景泛化能力。二者都不是简单追求单点分数,而是试图增强基础能力。
2. 都强调数据与知识的组织方式
流程智能依赖过程性数据,例如推理步骤、任务轨迹、操作流程、工具调用顺序;视觉基座依赖大规模视觉数据,例如图像、视频、点云、传感器序列。二者都说明:下一代模型能力的上限,不只取决于模型结构,也取决于知识如何被采集、清洗、组织、索引和复用。
3. 都需要新的评测体系
传统评测往往关注最终答案是否正确。但流程智能需要判断过程是否合理,视觉基座需要判断预测是否符合物理和空间规律。因此,二者都要求评测从“答案准确率”扩展到“过程正确性、鲁棒性、可解释性、跨任务迁移能力”。
4. 都可能与现有大模型体系结合
流程智能可以作为语言模型的增强模块,帮助模型调用经验流程;视觉基座可以作为多模态系统的基础模块,为语言模型提供感知结果和空间理解。二者都不一定替代当前大模型,而是补充其短板。
四、核心差异分析:两条路线到底不同在哪里
1. 能力来源不同
流程智能的知识来源是“任务过程”。 它关注的是如何一步步解决问题,包括任务分解、工具调用、条件判断、异常处理等。它更适合可表达、可拆解、可复用的任务流程。
视觉基座的知识来源是“感知信号”。 它关注的是图像、视频、空间结构、物体运动等视觉数据中的规律。它更适合感知、预测、控制、交互等需要理解真实世界的场景。
一句话概括:流程智能主要解决“做事的方法”,视觉基座主要解决“看世界的方法”。
2. 数据形态不同
流程智能处理的数据通常包括文本、结构化日志、任务轨迹、操作序列、工具调用记录等。这类数据可以通过日志、知识库、流程记录、人工标注等方式获得。
视觉基座处理的数据通常包括图像、视频、三维扫描、传感器序列、仿真环境数据等。这类数据体量大、维度高、时序复杂,且往往缺少高质量标注,因此需要无标签学习、自监督学习、对比学习、预测式学习等方法。
3. 与现有语言模型的关系不同
流程智能与当前语言模型结合更紧密。它可以把模型从“直接生成答案”升级为“检索并复用解决流程”,例如:
输入复杂问题-> 查询相似任务流程-> 选择合适的解决步骤-> 按步骤生成推理或调用工具-> 校验结果并返回
这种增强方式对现有模型服务改动相对可控,适合在企业知识库、智能客服、代码助手、数据分析等场景中落地。
视觉基座则更偏向底层能力重构。它可能不直接作为语言模型的插件,而是形成新的感知基础模型,再与语言模型、决策模型或多模态模型融合。其工程复杂度更高,但对机器人、自动驾驶、视频理解等方向影响更深。
4. 能力重点不同
流程智能更强调:
- 任务拆解;
- 步骤复用;
- 决策路径稳定性;
- 复杂问题求解;
- 可解释的操作链路;
- 对已有业务知识的吸收。
视觉基座更强调:
- 物体识别与跟踪;
- 运动预测;
- 空间关系建模;
- 场景理解;
- 视觉表征迁移;
- 对连续时序数据的建模。
5. 工程落地难度不同
流程智能的难点主要在知识抽取和流程质量。例如:
- 如何从非结构化文本中抽取可靠步骤?
- 如何处理流程冲突和版本更新?
- 如何判断一个流程是否适用于当前问题?
- 如何避免错误流程被反复复用?
视觉基座的难点主要在数据、算力和感知泛化。例如:
- 如何获得足够大规模的无标签视觉数据?
- 如何处理遮挡、光照变化、视角变化?
- 如何从视觉数据中学习可迁移的空间规律?
- 如何评估模型在真实物理世界中的可靠性?
相对而言,流程智能更容易在文本密集、流程清晰的业务中率先落地;视觉基座更适合长期基础能力建设,但对数据治理和算力要求更高。
6. 风险边界不同
流程智能的风险包括:错误流程污染、权限越界、流程过度复用、上下文不匹配、知识陈旧。
视觉基座的风险包括:视觉数据合规、隐私保护、场景分布偏移、物理规律误判、对异常环境鲁棒性不足。
因此,选型时不能只看“技术先进”,还要看团队是否有能力承担相应数据治理、评测和运维成本。
五、对比表格:流程智能与视觉基座关键差异
| 对比维度 | 流程智能 | 视觉基座 |
|---|---|---|
| 核心目标 | 复用解决问题的方法 | 从视觉数据中学习世界规律 |
| 知识来源 | 推理过程、任务轨迹、操作流程 | 图像、视频、三维数据、传感器数据 |
| 数据形态 | 文本、结构化日志、步骤序列 | 像素、视频帧、点云、时空序列 |
| 主要能力 | 任务拆解、步骤复用、复杂决策 | 感知、运动预测、空间关系理解 |
| 与现有大模型关系 | 可作为语言模型增强层 | 可作为多模态或感知基础层 |
| 落地难度 | 中,依赖流程抽取和知识治理 | 高,依赖数据、算力和感知泛化 |
| 典型场景 | 智能客服、代码助手、知识工作、流程自动化 | 机器人、自动驾驶、工业检测、视频分析 |
| 评测重点 | 步骤正确性、复用效果、决策稳定性 | 感知准确性、预测稳定性、空间泛化能力 |
| 主要风险 | 错误流程污染、权限与知识冲突 | 数据合规、分布偏移、物理世界误差 |
| 适合团队 | 熟悉文本工程、业务流程、知识管理 | 具备视觉数据、算力、仿真和算法能力 |
六、典型场景选择:不同业务应优先考虑什么
1. 知识密集型任务:优先考虑流程智能
如果业务任务具有以下特征:
- 问题可以被拆解为多个步骤;
- 企业已有大量文档、工单、代码、操作记录;
- 需要提升复杂问答、报告生成、代码生成、数据分析能力;
- 希望减少模型“每次从零推理”的不稳定性;
那么流程智能更适合作为优先方向。它可以通过经验库和流程库,把原本难以复用的隐性知识显性化。
2. 物理世界交互任务:优先考虑视觉基座
如果业务涉及:
- 视频监控与视频分析;
- 工业质检;
- 自动驾驶或辅助驾驶;
- 机器人导航与操作;
- 数字孪生;
- 三维场景重建;
- 运动预测与行为识别;
那么视觉基座更值得关注。因为这些场景的核心不是文本生成,而是从视觉信号中理解对象、位置、运动趋势和空间关系。
3. 已有语言模型但复杂任务不稳定:优先引入流程智能
如果团队已经部署了通用大模型,但发现模型在复杂任务中经常“答对部分、做错关键步骤”,可以优先考虑流程智能。它可以在不完全替换现有模型的情况下,通过流程检索、步骤约束、工具编排和过程校验提升稳定性。
4. 需要长期基础能力建设:布局视觉基座
如果企业希望构建面向未来的感知基础能力,尤其是涉及机器人、智能驾驶、空间智能、视频理解等方向,则需要考虑视觉基座。这类投入周期更长,但对后续多模态应用、物理世界理解和行业智能化影响更大。
5. 混合场景:三者结合更现实
很多复杂系统并不需要二选一。更常见的组合是:
- 用视觉基座完成感知和场景理解;
- 用流程智能完成任务规划与经验复用;
- 用语言模型完成交互、解释、汇总和生成。
例如一个工业运维系统可以用视觉模型识别设备状态,用流程智能调取历史维修步骤,再用语言模型生成运维建议。
七、选型建议:不要只看技术方向,要看团队条件
1. 文本和流程基础强的团队,可优先做流程智能
如果团队更熟悉自然语言处理、知识库、检索系统、业务规则引擎,流程智能的接入成本相对较低。可以从以下路径开始:
- 收集历史任务解决记录;
- 抽取可复用步骤;
- 建立流程库;
- 构建检索与排序机制;
- 在语言模型中引入流程增强;
- 持续评估过程正确性和任务完成率。
2. 视觉数据和算力基础强的团队,可优先做视觉基座
如果团队已有大量图像、视频、传感器或仿真数据,并且具备训练基础设施,可以评估视觉基座。重点包括:
- 数据清洗与样本筛选;
- 自监督预训练;
- 时序建模;
- 空间关系学习;
- 小规模场景验证;
- 与感知任务的结合。
3. 短期业务价值优先选流程智能
如果目标是半年到一年内改善业务效果,流程智能通常更容易形成闭环。因为它可以直接作用于现有知识工作、客服、编程、分析等场景,效果也更容易被业务感知。
4. 长期基础设施投入选视觉基座
如果目标是三到五年以上的基础能力建设,视觉基座更值得布局。它不一定立刻带来单点业务收益,但有助于形成面向物理世界和复杂感知场景的技术底座。
5. 合规敏感场景要提前评估数据边界
流程智能涉及企业内部流程、工单、代码和文档;视觉基座涉及图像、视频、人脸、车辆、场景等敏感信息。无论选择哪条路线,都应提前考虑权限控制、数据脱敏、审计日志、访问隔离和加密存储。
八、迁移与使用注意事项
1. 数据质量决定路线成败
流程智能依赖流程数据的准确性、完整性和时效性。如果历史流程本身错误较多,模型可能学到错误经验。因此需要建立流程清洗、去重、冲突检测和版本管理机制。
视觉基座依赖视觉数据规模和多样性。如果数据只来自单一场景,模型容易过拟合,难以迁移到真实复杂环境。因此需要覆盖多视角、多光照、多天气、多场景的数据策略。
2. 不能只评估最终答案
对于流程智能,需要评估:
- 步骤是否合理;
- 是否选择了正确流程;
- 是否发生步骤遗漏;
- 是否能处理异常分支;
- 是否可解释、可追溯。
对于视觉基座,需要评估:
- 感知是否稳定;
- 预测是否符合物理规律;
- 是否受遮挡和视角影响;
- 是否能在分布外场景中保持可靠性。
3. 接入方式应分层设计
流程智能可以设计为独立服务层,通过通用接口与现有模型调用链路结合。常见设计包括:
用户请求-> 任务分类-> 流程检索-> 流程排序-> 模型执行-> 结果校验-> 返回结果
视觉基座可以设计为感知服务层,为上层应用提供目标检测结果、场景理解结果、运动预测结果等。常见设计包括:
视觉输入-> 预处理-> 特征编码-> 时序建模-> 空间关系推断-> 感知结果输出
4. 监控与运维要同步建设
流程智能系统需要监控:
- 流程命中率;
- 流程复用成功率;
- 错误流程比例;
- 工具调用失败率;
- 用户反馈和修正情况。
视觉基座系统需要监控:
- 感知延迟;
- 检测稳定性;
- 预测漂移;
- 数据分布变化;
- 模型版本回滚情况。
如果企业已有百度智能云相关资源,可以复用其通用的身份认证、日志服务、监控告警、容器平台、算力调度和数据治理能力,减少重复建设成本。
5. 安全合规不能后置
流程智能可能涉及企业内部知识,需要权限隔离和审计;视觉基座可能涉及个人信息、敏感场景或视频数据,需要脱敏、加密和访问控制。无论哪条路线,都应把权限、审计、加密、隔离作为基础设施的一部分,而不是上线后补丁。
九、总结:下一代AI不是单一模型升级,而是路线选择
当前大模型从“60分”走向“90分”,说明通用语言能力、知识问答和常规推理仍有提升空间。但真正决定下一代AI能走多远的,可能不是继续把旧任务分数提高,而是能否解决“0分”问题:模型是否能复用复杂任务经验,是否能从视觉数据中理解物理世界。
流程智能和视觉基座代表了两种不同但互补的突破方向:
- 流程智能让模型学会“怎么做事”,适合知识密集、流程复杂、需要稳定复用的业务;
- 视觉基座让模型学会“怎么看世界”,适合感知、交互、空间理解和物理世界预测;
- 当前语言大模型则继续承担交互、表达、总结和通用任务完成能力。
因此,选型不应简单问“哪个更好”,而应问:团队的数据基础在哪里,业务瓶颈在文本还是视觉,短期目标是提升效率还是构建基础能力,迁移成本是否可控。对于多数企业而言,较现实的路径是先用流程智能增强现有模型,再根据业务方向评估是否引入视觉基座,最终形成语言、流程、感知三层协同的AI系统。

登录后可评论,请前往 登录 或 注册