具身智能下半场:无记忆与分层记忆方案对比选型
作者:暴富20212026.11.16 11:03浏览量:0简介:本文围绕具身智能落地的两条技术路线展开对比:方案A是“无持久记忆的单轮感知—决策范式”,方案B是“分层记忆系统驱动的持续决策范式”。基于某公开具身智能评测基准上100条失败轨迹的分析(91%与记忆相关,其中未记住看过的细节35%、未记住交互反馈31%、未跟上环境变化18%、未用上过去经验7%),以及16个主流多模态模型平均成功率仅64.2%、单项能力严重不均衡的现象,文章从架构、功能、接入、时延、安全、运维、成本、适用场景与使用边界等维度拆解两者差异,并给出条件化选型清单与迁移注意事项,帮助开发者在“先跑通”与“跑得久”之间做出有依据的取舍。
一、对比背景:为什么”记忆”值得单独拿出来测
具身智能从”能不能演示”走向”能不能长期干活”,评测口径也随之分化。某公开具身智能评测基准对两个主流视觉语言模型的100条失败轨迹做了逐条归因,结论很集中:91%的失败与记忆相关。
拆解来看,四类失败几乎覆盖了记忆系统的全部环节:
| 失败类型 | 占比 | 对应记忆环节 |
|---|---|---|
| 没记住看过的细节 | 35% | 情景记忆的写入与回读 |
| 没记住交互反馈 | 31% | 反馈闭环与策略更新 |
| 没跟上环境变化 | 18% | 记忆的时效性与失效淘汰 |
| 没用上过去的经验 | 7% | 语义/技能记忆的检索与泛化 |
这份数据的第一层含义是:“任务成功率”这一个大数字,会把记忆问题淹没掉。成功率从 61% 降到 58%,在排行榜上只是三个百分点,但在工程侧它可能是”第 47 个抽屉开了之后模型忘了抽屉是空的”这类可定位、可修的缺陷。不把记忆单独成维度评测,团队就只能靠试错去猜。
第二层含义更值得注意:通用能力强,不等于记性好。在同一批 16 个主流多模态大模型的评测中,综合表现最好的模型平均成功率也只有 64.2%,说明整体水平仍在爬坡期;而能力分布极不均衡——某中等参数规模的开源视觉语言模型(下称模型B)在”经验泛化”上达到 63.1%,”动态跟踪”却只有 20.3%,两者相差三倍。
也就是说,一个模型可以”很会举一反三”,却”看不住场景里刚发生的变化”。这正是本文对比的出发点:当瓶颈从”模型会不会推理”转向”系统记不记得住”,架构上该选哪条路,评测上该怎么测。
二、对比对象定义
方案A:无持久记忆的单轮决策范式
每一步(或每个决策周期)都由”当前观测 → 大模型推理 → 动作输出”完成闭环。历史信息只依赖两种载体:
- 当次上下文窗口:把最近若干帧或最近若干步的动作塞进 prompt;
- 外挂的传统状态机/规则:用确定性代码维护少量状态位。
它没有独立的记忆层,也没有写入、检索、遗忘、冲突消解的机制。绝大多数”能演示”的原型属于这一类。
方案B:分层记忆系统驱动的持续决策范式
在策略模型之外,引入显式的记忆子系统,业界通常按用途分四层:
- 工作记忆(Working):当前任务的短程上下文,帧级/步级,容量小、生命周期以秒计;
- 情景记忆(Episodic):发生过什么——走过的路径、开关过的阀门、抓失败的姿态、用户的口头纠正,按时间索引、可回读;
- 语义记忆(Semantic):环境结构与常识——房间布局、物品位置先验、设备台账,长期稳定、可增量更新;
- 程序性记忆(Skill/Procedural):怎么做——成功技能的参数化策略、可复用子流程,用于经验泛化。
方案B 的核心工程量不在”存”,而在记忆治理:写什么、写多少、给谁看、什么时候忘掉、冲突时信谁。
评测口径的对比(同样重要的一组对象)
| 维度 | 黑盒成功率评测 | 记忆分项诊断评测 |
|---|---|---|
| 输出 | 一个总分 | 四类记忆子分数 + 失败轨迹归因 |
| 可定位性 | 弱,只知道”没做成” | 强,能指出”哪一步记错了” |
| 成本 | 低,可直接复用公开榜单 | 中,需要构造针对性场景与标注 |
| 适用阶段 | 横向选型、对外汇报 | 纵向优化、回归测试、上线门槛 |
两者不是替代关系:用黑盒分数做选型,用分项诊断做优化。
三、相同点:两条路线共享的技术底座
- 感知前端一致:都需要多模态编码器把视觉、深度、语音、本体感受信号转成可推理的表征。
- 决策内核一致:都由大模型或大模型蒸馏出的小模型承担高层规划与语义理解,底层仍靠运动控制/抓取规划执行。
- 算力与时延约束一致:都必须在有限端侧算力与硬实时约束下闭环,都面临”模型越大越好 vs 时延预算越小越好”的矛盾。
- 评测环境一致:都主要在仿真与半仿真环境中迭代,都存在”仿真涨点、真机掉点”的分布偏移问题。
- 终局指标一致:都以长程任务的成功率、完成步数、人工干预次数为最终判据。
换言之,方案B 不是替换方案A,而是在方案A之上加一层。这也决定了迁移通常是增量的,而非推倒重来。
四、核心差异分析
4.1 技术架构
方案A 是无状态服务:进程内一次性推理,重启无损,架构图简单,依赖组件少,部署可以是单机进程。
方案B 是有状态系统,至少多出四个组件:
- 记忆存储层:结构化存储(情景条目、任务状态)+ 向量检索层(语义相似召回);
- 写入管线:从轨迹中抽取事实、打分、去重、定级;
- 检索与装配层:按任务、场景、时间窗组装进上下文的候选集;
- 生命周期管理:TTL、归档、遗忘、版本与回滚。
在有云的部署形态下,这些能力通常映射为通用云服务类别:对象存储承载长周期轨迹与原始数据、数据库/向量检索服务承载情景与语义记忆、消息队列解耦写入管线与在线推理、日志服务与监控告警支撑记忆质量观测、身份认证与权限控制做多租户隔离。百度智能云等平台提供的正是这类通用基础设施能力,具体选型仍需按自身数据规模与时延预算评估。
差异要点:方案A 的系统边界在”一次推理”,方案B 的系统边界延伸到”跨会话、跨设备、跨版本的数据资产”。边界一旦延伸,一致性、幂等、可回滚就成为必答题。
4.2 功能能力覆盖
对照前面那张失败归因表,差异非常直接:
| 记忆能力 | 方案A 表现 | 方案B 表现 | 工程前提 |
|---|---|---|---|
| 记住看过的细节(35%) | 受窗口长度限制,易遗忘 | 情景记忆可显式回读 | 抽取质量决定上限 |
| 记住交互反馈(31%) | 反馈通常只影响下一步 | 反馈可固化为约束或技能参数 | 需要反馈到记忆的写通路 |
| 跟上环境变化(18%) | 无失效机制,靠重新观测兜底 | 带时效与版本的记忆可标记失效 | 需要变化检测与TTL策略 |
| 用上过去经验(7%) | 依赖 prompt 里的样例 | 语义/技能检索 + 参数复用 | 需要成功轨迹的沉淀规范 |
这里有个容易被忽略的结论:方案B 的能力上限由记忆质量决定,而不是由存储容量决定。写入一条错误的”抽屉里有零件”,比不写更糟,因为它会被反复召回。
4.3 接入方式与改造量
- 方案A:改造量最小。多数情况下只需调整 prompt 结构与上下文拼装逻辑,属于”提示层优化”。
- 方案B:改造量集中在三处接口:
- 策略模型的上下文输入契约(从”帧+指令”变成”帧+指令+记忆包”);
- 轨迹回写通路(在线或近线,需要考虑写失败的重试与幂等);
- 检索服务的调用与降级(检索不可用时能否退化为方案A 继续工作)。
降级设计是方案B 能否上线的关键。如果一个记忆服务抖动就让机器人完全停摆,那它的可用性实际上低于方案A。
4.4 性能与时延
不引入任何具体数值,只谈结构性权衡:
- 上下文变长带来的成本上升:召回条目越多,token 消耗与推理时延越高,这部分成本随任务频次线性放大。
- 检索链路的额外一跳:向量检索 + 重排的时延必须挤进原有的控制周期预算里,通常需要异步预取或缓存来吸收。
- 精度—时延—成本的三角:top_k 调大提升召回,同时抬高时延与噪声;调小则可能漏掉关键经验。合理的做法是按场景分级设定检索预算,而不是全局一个参数。
- 稳定性维度:方案A 的尾延迟更可控;方案B 引入外部依赖后,必须明确超时阈值与兜底路径。
4.5 安全与合规
方案B 会把”运行数据”变成”数据资产”,合规面显著扩大:
- 数据分级:轨迹中可能包含人脸、声纹、门牌、屏幕内容,属于需要脱敏或本地化处理的数据;
- 权限隔离:多机、多楼层、多租户场景下,记忆必须按设备/场所/租户做逻辑或物理隔离,避免 A 机器人的记忆被 B 机器人召回;
- 审计与可解释:每条记忆需要记录来源轨迹、写入时间、置信度,便于事后追责与纠错;
- 加密与生命周期:传输与静态加密、留存期限、删除权(用户要求遗忘某段影像时,需级联删除派生记忆)。
方案A 在这些维度上压力小得多,因为几乎没有持久化。
4.6 运维复杂度
| 运维项 | 方案A | 方案B |
|---|---|---|
| 监控 | 成功率、时延、错误率 | 追加:召回命中率、记忆写入成功率、脏数据率、记忆库增长曲线 |
| 故障恢复 | 重启即恢复 | 需备份、快照、重放能力 |
| 版本升级 | 换模型即可 | 需考虑记忆 schema 迁移与新旧记忆兼容 |
| 容量规划 | 基本无状态 | 需要存储与索引的容量模型 |
| 灰度发布 | 相对简单 | 需按场所/设备灰度,并保留旧记忆版本回滚 |
4.7 成本结构(不涉具体报价)
- 方案A:成本主要在推理算力,结构单一、可预测。
- 方案B:新增存储成本、检索算力、写入管线的近线计算,以及最容易被低估的人力成本——记忆治理规则、失败样本清洗、评测集维护往往是长期投入项。
- 迁移成本:方案B 首次落地需要一次性投入数据模型设计与接口改造;方案A 的迁移几乎可忽略。
4.8 使用边界(方案B 明确不适合的情况)
- 短程、开环即可完成的任务:抓取一个固定位置的物体,加记忆只增加故障点。
- 环境每次完全不同:无先验可复用,语义记忆的收益接近零。
- 强实时、硬安全场景:如高速运动中的避障,检索时延不可控,应由确定性控制回路负责,不经过记忆层。
- 暂无记忆质量评测手段的团队:没有分项评测,方案B 很容易变成”越记越错”。
五、对比表格总览
| 对比维度 | 方案A:无持久记忆范式 | 方案B:分层记忆系统范式 |
|---|---|---|
| 系统形态 | 无状态服务 | 有状态系统 + 记忆治理 |
| 依赖组件 | 少 | 存储、索引、写入管线、生命周期管理 |
| 长程任务成功率 | 随步数增长衰减较快 | 可通过情景回读维持表现 |
| 环境变化适应性 | 靠重新观测兜底 | 带时效与失效标记,但需变化检测 |
| 经验复用 | 弱 | 强,依赖技能记忆与检索质量 |
| 单次决策时延 | 更可控 | 需为检索预算留出空间 |
| 失败模式 | 遗忘、上下文不足 | 误召回、记忆污染、库膨胀、检索不可用 |
| 安全合规压力 | 低 | 中高(持久化、隔离、审计、遗忘权) |
| 运维复杂度 | 低 | 中高(迁移、回滚、容量、质量监控) |
| 典型适配阶段 | 原型验证、单点任务 | 长期运行、多场景复用、多机协同 |
| 主要风险 | 能力天花板低 | 工程复杂度带来新的可靠性风险 |
六、典型场景选择
更倾向方案A 的场景
- 功能验证与算法预研:需要快速试错、频繁更换模型;
- 结构固定的单工位作业:流程确定、环境稳定、任务时长短;
- 资源受限的端侧设备:无稳定网络、无法承担存储与检索开销;
- 演示型交付:以可复现的一次成功为主要目标。
更倾向方案B 的场景
- 长周期、多步骤任务:清扫全屋、巡检整条产线,步数上去后遗忘成本急剧放大;
- 动态开放环境:货架补货、家庭服务,物体位置每天变化,需要”位置记忆 + 时效标记”;
- 含人类反馈的协作场景:靠指令纠正积累约束,对应那 31% 的交互反馈类失败;
- 多机共享知识:一台机器人学会的抓取参数,需要被其他设备复用,对应经验泛化需求;
- 需要审计与追溯的行业交付:每一次决策要能解释”基于什么记忆”。
务实的中间路线:绝大多数团队真正需要的是方案A 的骨架 + 方案B 的薄记忆层。先只上情景记忆与技能记忆两层,语义记忆用传统地图/台账替代,跑通评测闭环后再决定要不要加语义检索。这种增量路径的风险最低。
七、选型建议(条件化判断清单)
在决定之前,建议先回答六个问题:
- 任务的平均步数是多少?步数越多,记忆的边际收益越高。
- 失败样本里,记忆类失败占比是否确实高?先跑一次归因,再决定投入方向。
- 团队是否具备记忆质量评测能力(构造场景、标注期望记忆、回归比对)?没有的话优先补这个。
- 记忆服务的超时降级路径是否已设计?检索不可用时能否退化为无记忆运行?
- 数据是否涉及敏感影像/语音?若是,先确定分级、脱敏、留存与删除策略,再谈检索。
- 是否有多机/多场所共享需求?若有,权限隔离与记忆版本管理必须提前建模。
一条经验法则:当瓶颈明确指向”记不住”时,先做记忆分项评测,再上记忆层;当瓶颈在感知精度或控制稳定性时,加记忆只会放大问题。
八、迁移与落地注意事项
从方案A 演进到方案B,本质是一次”引入状态”的架构变更,需要重点处理五类风险。
1)数据与 schema 迁移
记忆条目要设计稳定 ID、来源轨迹指针、置信度、时效与版本字段。schema 一旦上线就难以变更,建议在首版就预留扩展字段,并提供离线重放工具,便于用历史轨迹重建记忆库。
2)接口契约与兼容性
策略模型的上下文输入需要版本化,记忆包缺字段时要有确定性的默认行为。推荐把记忆装配做成独立模块,输入输出是纯数据结构,便于单测与替换:
# 通用记忆访问接口示意(伪代码,不含任何厂商专有 SDK)class MemoryPort:def retrieve(self, *, query, task_id, scope, top_k, time_window, min_confidence):"""返回按相关性与时效加权的记忆候选,已做权限过滤。"""raise NotImplementedErrordef write(self, *, episode_id, fact, source_ref, confidence, ttl, scope):"""幂等写入:同一 episode_id + fact 指纹重复提交时覆盖而非追加。"""raise NotImplementedErrordef invalidate(self, *, entity_ids, reason):"""环境变化时将过期记忆标记失效,而非物理删除,便于回溯。"""raise NotImplementedErrordef decision_step(obs, task, memory: MemoryPort, policy):try:candidates = memory.retrieve(query=embed(obs.scene_summary),task_id=task.id,scope=["episodic", "skill"],top_k=8,time_window=task.relevant_window,min_confidence=0.6,)except MemoryUnavailable:candidates = [] # 降级:退化为无记忆决策,保证可用性action = policy.act(obs, task, context=candidates)# 只写高置信、可复用的结论,低价值条目会推高噪声与成本if action.confidence >= WRITE_THRESHOLD:memory.write(episode_id=obs.episode_id,fact=extract_fact(obs, action),source_ref=obs.trajectory_ref,confidence=action.confidence,ttl=ttl_for(action.fact_type),scope=["episodic", "skill"],)return action
3)权限与隔离
在 retrieve 与 write 两条通路上都要做租户/设备级过滤,不能只依赖应用层判断。跨设备共享的技能记忆建议单独一个 scope,与场所相关的情景记忆严格绑定物理位置。
4)稳定性与回滚
上线顺序建议:影子模式(只写不读,观察写入质量)→ 只读部分场景 → 全量读取。每次变更保留记忆库快照,出现”越记越差”时能快速回滚到上一版本记忆。
5)评测回归
把分项评测纳入 CI:四类记忆各建一个小型场景集,任何模型或 prompt 变更后跑一遍,观察分项分数的变化,而不只看总体成功率。这也正是原始评测给我们的核心启示——总分掩盖结构,分项才能指导优化。
九、总结
这次对比的实质不是”要不要记忆”,而是在什么阶段、以什么代价、用什么评测手段去引入记忆。
三个可带走的结论:
- 瓶颈已经转移。91% 的失败与记忆相关,而综合最强模型平均成功率仅 64.2%、单项能力相差三倍(经验泛化 63.1% vs 动态跟踪 20.3%),说明”通用能力强”与”记性好”是两个需要分别优化的目标。
- 记忆层是增量叠加,不是推倒重建。方案B 保留方案A 的全部骨架,新增的是存储、检索、写入、遗忘与降级。改造量可控,真正的成本在记忆治理与运维。
- 先建评测,再建记忆。没有分项诊断能力就上记忆层,风险是引入一个新的、更难排查的故障源;有了分项评测,记忆的每一次投入都能被验证。
对多数团队而言,合理的路径是:短程固定任务留在方案A;长程、动态、需要人类反馈累积和多机复用的任务,先上情景记忆与技能记忆的薄层,配合降级与分项回归,再逐步扩展到语义记忆。 具身智能的下半场比的不是谁演示得更炫,而是谁能把”记住”这件事做成可评测、可运维、可回滚的工程能力。

登录后可评论,请前往 登录 或 注册