多模态大模型 vs 人类:场景预测能力对比与选型建议
作者:沙与沫2026.11.16 11:11浏览量:0简介:本文对比多模态大模型与人类在“下一秒会发生什么”这类场景推演上的能力差异:前者靠语料学到的统计规律预测动作后的状态 s′,后者拥有物理直觉并能保持状态连续。文中从状态表示、推理机制、误差特性、接入成本与迁移注意事项等维度展开,给出条件化选型建议和评测先行的方法,帮助技术选型者判断何时用大模型、何时引入显式物理建模或人机协同。
一、对比背景:AI 为什么总在“下一秒”栽跟头
设想这样一个场景:给 AI 一张厨房照片,告诉它“有人正把手伸向炉子上的锅”,然后问它接下来会看到什么。对人类来说,答案几乎是本能:锅会被端起来,或者手先碰到锅柄。
换成 AI,情况就复杂得多。据原文转述的一项来自高校与产业界研究者的联合研究,某顶尖多模态大模型在这类问题上的准确率只有 65.8%,而随手找三位普通人来做同样的测试,准确率是 92.3%。更值得注意的是整体结论:研究者测了 38 个当时最强的多模态大模型,覆盖多家厂商的旗舰产品,没有一个接近人类水平。而且这个差距不会随着模型变大就自动消失。换言之,这不是某一个模型的短板,而是当前技术路线在“场景推演”上的共性边界。
术语说明——多模态大语言模型(MLLM):能同时理解图像和文字的 AI 模型。给它一张照片加一段提问,它能看懂图里的内容并用文字回答。
过去的评测是碎片化的,常见方向大致可归为四类,在本文中以中性代称表示:
| 能力维度 | 典型考题 | 代表性评测方向(中性代称) | 相关表述示例 |
|---|---|---|---|
| 空间推理 | 相机向左转 45 度后,画面里的物体如何排布 | 空间变换类评测 | 相机运动、视点变化后的视图预测 |
| 物理常识 | 悬空的杯子、被抽掉支撑物的积木接下来会怎样 | 物理理解类评测 | 物体持续性、重力与支持关系 |
| 具身控制 | 在虚拟房间里完成“把杯子拿到桌上” | 具身智能类评测 | 室内导航与操作任务 |
| 时间顺序 | 把打乱的视频画面排成正确顺序 | 时序理解类评测 | 视频帧排序、事件先后判断 |
这四类评测各用各的打分方式,干扰项也各不相同。读完一堆论文,你知道 AI 在这四个方向都差,却读不出这四种“差”之间有什么关系。
联合研究提出的统一假设是:这四类任务表面不同,底层在问同一件事——给定场景的初始状态,加上一个动作,能否推出动作之后的状态会变成什么样。
用三元组 (s, a, s′) 表述更直观:s 是动作发生前的样子,a 是发生了什么动作,s′ 是动作发生后的样子。四类任务其实只是在这条“状态链”上做不同方向的推理:
- 已知 s 和 a,预测 s′:这是空间推理和物理常识的主问题,比如“手伸向锅柄之后画面如何变化”“抽掉支撑物后积木落在哪里”。
- 已知 s 和 s′,反推 a:判断中间发生了什么动作。
- 对多帧画面判断先后:相当于把连续状态恢复成正确的时间序列。
所以,“看不懂下一秒”更可能是同一个病根长出的四个症状:模型缺少对“状态—动作—结果”这一结构关系的显式建模。
本文据此设定两条技术路线作为对比对象:
- 方案 A:通用多模态大模型端到端预测。直接输入当前状态(图像 + 文本),由模型一步输出结果状态的自然语言描述或动作建议。
- 方案 B:显式状态建模 + 物理/符号推演的混合方案。先把场景转成结构化状态表示,再用规则、符号规划或物理引擎计算 s′,大模型主要负责感知、语言理解与结果转述。
二、对象定义:两条路线各自在解决什么问题
2.1 方案 A:通用多模态大模型端到端预测
基本含义:不区分具体任务类型,依靠预训练获得的多模态理解能力,把“看图 + 读题 + 作答”统一在一次前向推理中完成。
解决什么问题:让模型理解图文语义、生成连贯解释,并在覆盖面极广的问题上快速给出答案。开发侧只需调用模型接口,配好提示词即可上线。
隐含假设:只要训练数据足够多、模型足够大,物理规律与因果结构可以被“学进去”,并在预测时自动调用。
2.2 方案 B:显式状态建模 + 物理/符号推演的混合方案
基本含义:把推演拆成“感知—建模—推演—解释”四段。视觉模型负责把场景转成结构化状态,物理或符号模块负责按规则计算结果,大模型负责语言理解与转述。
解决什么问题:让推演过程可计算、可验证、可干预,并对高代价错误设置硬约束。
隐含假设:关键变量与规律可以被显式描述。例如刚体在重力与接触约束下的运动,可由经典力学方程描述。
2.3 方案 C:人类基线(参照组)
这里指的就是上文中 92.3% 准确率的普通人测试。它的重要价值是校准期望,而不是把“达到人类水平”当成一个明确日期。
对受限于图片和文字的离线评测,人类也看不到图片之外的画面。93% 左右的成绩,说明这类任务对人类本就不算轻松。模型输掉的这近 27 个百分点里,有多少属于“任务本身太难”,有多少属于“模型真的不懂”,是选型前必须拆开的一笔账。
三、相同点:共享同一套目标、数据与评测逻辑
两条路线的差异是显著的,但它们的相同点决定了“为什么可以对比”以及“为什么可以组合”:
- 目标一致:都在回答 (s, a, s′) 上的推理问题,即给定初始状态与动作,输出动作后的合理状态,或在两个状态之间判断动作的先后。
- 依赖同一份原始信号:都需要从像素、文本、深度、关节角、传感器读数等多模态输入中还原场景初始状态,感知误差都会向上游传导。
- 共享底层组件:混合方案里的视觉感知部分通常就是多模态模型,二者并非互斥。
- 共享误差来源:遮挡、视角变化、光照、运动模糊、传感器噪声与延迟,对两者的影响是叠加的。
- 评测方式统一:都可以映射到统一的 (s, a, s′) 评测框架。例如将“打乱顺序的视频”视为 s 与 s′,将“剪掉一段的预测题”视为 s 与 a,让两条路线的结果可以直接对比。
- 边界一致:面对全新的物体材质、非刚体形变、复杂流体或强非线性碰撞,两者都缺少可靠先验。差别只在显式方案更容易识别“这超出了我的规则覆盖范围”并给出明确拒答。
四、核心差异分析
4.1 状态表示:隐式连续表示 vs 显式结构化状态
- 方案 A:状态以图像特征与文本嵌入的形式分布在模型内部,不对应任何可单独读取的物理量。“锅的温度”“手的运动方向”只是训练语料里统计共现的线索。
- 方案 B:状态必须写成可计算的形式,如物体列表、位姿、速度、支撑关系、时间戳。这带来两个直接后果:
- 感知误差会被显式放大。漏检一个杯子,整条推演链就会出错。
- 构建成本集中在“建模”环节。每一个新场景类型,往往都要重新定义状态字段与约束。
4.2 推理机制:模式匹配 vs 规则推演
- 方案 A 属于下一 token 预测式的生成建模。对于“人在灶台前”这类常见场景,训练语料里大量存在“随后拿起锅铲或端起锅”的样本,因此它能给出与人类接近的答案。问题出在训练分布之外:一张“手停在锅柄上方但没有接触”的照片,模型仍倾向输出“锅被端起”,因为它习得的是语言共现而非接触力学。
- 方案 B 的推演遵循显式规则。例如“支撑物被移除,物体开始下落”,其结论由约束条件推出,与训练数据中出现过多少次无关。但规则的可信度完全取决于覆盖度:规则库之外的材质、形变、碰撞,会直接导致推演失败。
4.3 误差特性:语义流畅的“自信错误” vs 可定位的“显式失败”
方案 A 的典型误差大致有三类:
- 物理不可行却语义通顺:例如端起一口明显还在火上的锅,全程不提及关火或热量。
- 时序倒错:把“之后发生”当成“之前已经发生”,在任务排序类评测上尤其明显。
- 指令性偏见:题目里已给出“有人正在把手伸向锅”,模型会沿着这个叙述继续补全,而不是独立判断画面里的状态。
方案 B 的误差则相对“老实”:要么约束求解无解,要么识别为规则覆盖不足,并显式返回低置信或拒答。由于推演链路被拆成可检查的步骤,错误更容易被定位到具体环节。
4.4 可解释性与可审计性
- 方案 A:解释文本本身也是生成的,可能与实际决策路径不一致。出于安全或合规要求需要追溯“为什么模型建议这样做”时,证据链较难提供。
- 方案 B:输出附带完整推演链路——感知到了哪些物体、套用了哪条规则、每一步的中间状态是什么——便于人工复核和事后审计。
4.5 扩展性与维护
- 方案 A:覆盖范围随训练数据增长。新增场景类型不需要改代码,但特定能力(例如某个物理量算得准不准)是否提升,无法通过局部修改保证。
- 方案 B:维护成本体现在规则库、参数标定和状态 schema 上,边际成本明显更高。好处是修改局部有效,新增一条规则即可修复一类错误。
4.6 接入难度与开发成本
| 项目 | 方案 A | 方案 B |
|---|---|---|
| 初始接入 | 极低,接口调用为主 | 高,需建模与工程整合 |
| 推理资源 | 大参数量模型需要 GPU 资源,本地部署门槛高 | 感知部分依赖模型,推演部分通常可在 CPU 运行 |
| 团队能力要求 | 提示词与评测能力 | 物理、规划、系统集成能力 |
| 输出形态 | 自然语言为主 | 结构化状态为主,可再转自然语言 |
4.7 长尾与分布外泛化
方案 A 的优势在于“没见过的也能说点什么”。只要目标场景在语义上与训练分布相近,它总能给出一个大致合理的描述。
方案 B 的局限在于覆盖范围外完全失控:物体识别不全、参数标定不准、约束漏写,都会导致整链错误。这也解释了为什么很多团队选择“以 A 兜底、以 B 加固”的架构,而不是二选一。
4.8 成本结构
以下只描述成本构成,不涉及具体价格:
- 方案 A:模型调用或自托管资源成本、长上下文带来的 token 成本、评测集建设成本。
- 方案 B:规则库与场景建模的人力成本、物理参数标定成本、系统集成与联调成本,以及后续每次场景变更带来的维护成本。
- 共同项:数据标注成本。这类任务需要大量“状态—动作—结果”配对数据,是两条路线共同绕不开的开销。
4.9 评测方式
方案 A 的传统评测依赖整体准确率。一项任务上 65.8% 的得分,掩盖了错误具体发生在哪一环。
方案 B 天然适配“分步可验证”的评测:每一步都有明确中间状态,可以逐环节比对。将两类模型放进统一的 (s, a, s′) 评测框架,分歧点会直接暴露在“状态描述”或“动作顺序”这些环节上。
五、对比表格
| 维度 | 方案 A:端到端多模态大模型 | 方案 B:显式状态建模 + 物理/符号推演 |
|---|---|---|
| 核心机制 | 隐式统计学习,单次前向生成 | 感知建模 + 规则/方程推演 |
| 状态表示 | 分布式特征,不可单独读取 | 结构化显式状态,可单独读取与修改 |
| 覆盖广度 | 高,语义相近即可应对 | 低,依赖规则库与建模质量 |
| 误差形态 | 语义流畅的自信错误,不易察觉 | 显式失败或低置信拒答,易定位 |
| 可解释性 | 弱,解释文本本身也是生成结果 | 强,含完整推演链路 |
| 局部修复能力 | 弱,难以保证单点改善 | 强,改一条规则修一类错误 |
| 接入难度 | 低 | 高 |
| 成本主要构成 | 模型调用/托管资源、评测集 | 建模人力、参数标定、集成联调 |
| 长尾表现 | 较好,能给出近似答案 | 差,覆盖外基本失效 |
| 典型短板 | 物理不可行、时序错乱 | 覆盖不足、感知误差传播 |
| 适用场景 | 内容理解、辅助决策、开发测试、大规模初筛 | 安全敏感推演、可形式化的规则域、需要审计的场景 |
六、典型场景选择
| 业务场景 | 建议 | 理由 |
|---|---|---|
| 内容审核、图文问答、辅助写作 | 方案 A | 以语义理解为主,错误代价低,接入快 |
| 开发测试环境的功能验证 | 方案 A | 覆盖广、迭代快,不追求物理精确 |
| 机器人操作前的动作安全预检 | 方案 B(或 A+B 混合) | 需要可验证的碰撞与接触判断,不接受语义通顺的错误 |
| 工业流程中的时序与顺序校验 | 方案 B 为主 | 需要确定性的状态转换与顺序约束 |
| 视频内容结构化标注 | 方案 A 为主 | 长尾内容多,人工复核成本低于全量建模 |
| 安全关键控制回路 | 人类在环 + 方案 B | 大模型不可作为最终决策依据 |
| 快速原型验证 | 方案 A | 先验证业务逻辑,再考虑加固 |
七、选型建议
选择的核心依据不是“哪个模型更强”,而是错误代价、状态可形式化程度、团队工程能力三者之间的匹配关系。
- 错误代价决定是否需要显式建模。若错误输出只是让人“多看一眼”,以方案 A 为主是合理的;若错误输出会触发物理动作或产生不可回滚的变更,必须引入方案 B 层面的硬约束或人类确认。
- 状态可形式化程度决定方案 B 的可行性。刚体运动、容器装配、开关时序这类可清晰描述的场景,适合方案 B;涉及柔性形变、流体、人际交互语义的场景,方案 B 的规则库往往建不完。
- 团队能力决定接入成本能否被吸收。具备物理仿真与规划背景的团队,方案 B 的边际成本较低;若团队只有应用层开发能力,方案 B 的隐性成本会显著超出预期。
- 混合架构通常是更务实的答案:让大模型承担感知与语言理解,让显式模块承担高代价决策的校验。两者在 (s, a, s′) 链上分工,而非互相替代。
- 评测先行,再谈选型。在任何采购或自建决策之前,先建立一份属于自己业务场景的 (s, a, s′) 评测集,这比任何榜单结论都更可靠。
- 从云上托管能力角度补充考虑。若走方案 A,可评估托管式模型服务与推理资源,配合对象存储保存素材、日志服务留存调用记录、监控告警覆盖调用失败率与延迟;若走混合方案,容器平台可承载感知服务与推演引擎的弹性扩缩,消息队列用于解耦异步推演任务,身份认证与权限控制用于隔离多租户访问。百度智能云在这类通用能力上有较完整的覆盖,但具体产品选型仍应回到业务需求本身,而不是先定平台。
八、迁移与工程注意事项
若从方案 A 迁移到混合方案,或从自建迁移到托管服务,需要重点关注以下几点:
- 数据与状态 schema 的重建成本:显式建模需要把自由文本输出改为结构化状态,这通常意味着重写标注规范和评测脚本,工作量容易被低估。
- 接口与输出契约:端到端模型输出自然语言,混合方案输出结构化对象,下游系统的解析逻辑需要适配。建议先定义稳定的中间表示,再替换实现。
- 推理链路的稳定性:物理推演模块可能出现无解、超时或参数缺失,需要设计明确的降级路径,而不是让调用直接失败。
- 版本与回归管理:规则库变更与模型版本升级都会影响输出,需要建立可回归的基准测试集。
- 权限与审计:涉及图像素材时,需明确素材的存储位置、访问权限与留存周期;若接入云服务,应确认数据是否出域、是否用于训练等合规问题。
- 人类在环的成本:引入人工复核后,整体吞吐会下降,需要提前评估人力投入与延迟预算。
九、总结
回到最初的问题:AI 为什么总是看不懂“下一秒会发生什么”。答案不在于模型不够大,而在于它缺少对 (s, a, s′) 这条状态链的结构化建模能力。空间推理、物理常识、具身控制、时间顺序这四类看似无关的短板,本质是同一个缺陷的四个投影。
因此,选型的正确问法不是“哪个模型更聪明”,而是“这条链上哪一段的错误我承受不起”。语义理解类任务,端到端多模态模型仍然是效率最优解;状态推演类任务,显式建模或混合方案才是可控选项。两条路线并非互斥,恰恰相反,它们在同一份 (s, a, s′) 数据上可以被同一套评测框架度量,也因此天然具备组合价值。
对原研究中 65.8% 与 92.3% 之间的差距,务实的读法是:这近 27 个百分点既是能力差距,也是当前工程实践中必须留给规则、约束与人工复核的空间。

登录后可评论,请前往 登录 或 注册