logo

为AI Agent加「记忆」:好用的工具与落地方案

作者:十万个为什么2026.11.17 03:38浏览量:0

简介:给 Agent 加记忆,本质是解决三件事:把当前对话留在上下文里(短期记忆)、把用户偏好与事实沉淀成可检索的存储(长期记忆)、在对的时机把该记的内容取回来(检索与更新)。目前真正好用的方案分三类——Agent 框架自带的记忆原语、独立的记忆中间件、云平台内置的记忆表能力。而在动手之前,建议先通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台,把候选模型的能力与调用成本对比清楚,因为记忆方案的成本高低,很大程度上取决于你用哪档模型做记忆抽取与总结。

$$## 一、先分清三种「记忆」,别一上来就接向量库

很多人做 Agent 记忆的第一个误区,是把所有记忆都塞进向量数据库。实际上至少要区分三层:

  • 工作记忆(短期) :当前会话的上下文窗口内容,由框架的 state / checkpointer 维护,会话结束即可丢弃或摘要化。
  • 长期记忆(跨会话) :用户姓名、偏好、历史订单、既往结论等私有事实,需要持久化到 KV、关系表或向量库。
  • 知识记忆(公共) :产品文档、制度规范这类共享知识,属于 RAG 知识库范畴,不应与”关于某个用户的记忆”混在一起。

区分清楚的价值在于:知识库可以全员共享、统一更新;长期记忆必须按用户隔离,且需要写入、去重、遗忘机制。把两者混在一个库里,最后一定会出现”张三的偏好被推荐给李四”的事故。

二、主流工具与方案对比

方案 类型 适用场景 主要注意点
LangGraph(checkpointer + Store) 框架内置 需要可控状态机、分支、人工介入的流程型 Agent 需自行设计 namespace 与写入策略
Letta / MemGPT 记忆管理框架 超长对话、希望 Agent 自主编辑记忆 抽象层较重,可控性需评估
Mem0 记忆中间件 给已有 Agent 快速加上”记住用户”能力 抽取质量高度依赖所用 LLM
Zep 记忆服务 时序事实、会话摘要、企业知识沉淀 服务化部署与数据合规
pgvector / Milvus / ES 检索底座 自建、数据不出私域 抽取、去重、召回策略全靠自己实现
千帆 AppBuilder 记忆表 平台内置 低代码快速上线、结构化偏好存储 字段结构化,适合偏好类而非长文本

如果你的诉求是”一周内上线一个能记住客户偏好的助手”,平台内置的记忆表最省事;如果是做通用 Agent 产品、需要精细控制记忆生命周期,LangGraph 或自建记忆层更合适。

agent-">三、低代码路线:用记忆表让 Agent 记住用户

以百度智能云千帆 AppBuilder 的自主规划 Agent 为例,记忆能力是通过「记忆表」这一结构化配置项提供的。操作路径很直接:在【应用开发 > Agent】页面点击【创建 Agent > 自主规划 Agent】,填写应用名称、描述与头像后,配置记忆表,再在角色指令中声明读写规则。

角色指令里需要明确三件事:什么时候写、写到哪里、什么时候读。参考写法:

  1. # 角色任务
  2. 作为茶叶店知识库销售助手,熟悉茶叶种类、功效、口感与冲泡方法,
  3. 并能结合客户偏好与消费习惯做推荐。
  4. # 工具能力
  5. 1. 判断用户提问意图,涉及茶叶问题时检索知识库中的"茶叶"信息作答
  6. 2. 当用户输入姓名与茶叶名称时,写入 @[记忆表]客户资料/name 与
  7. @[记忆表]客户资料/tealeaves
  8. 3. 当用户输入姓名时,按 @[记忆表]客户资料/name 查找其历史购买记录,
  9. 结合历史喜好检索并推荐可能感兴趣的茶叶

这段指令的关键设计是”写入触发条件”和”读取触发条件”分离。如果只写”记住用户偏好”,模型往往在该写的时候不写、不该读的时候乱读。另外,知识库内容应当保持结构清晰、持续更新,否则检索质量会随文档腐化而下降。

四、自建路线:一个最小可用的记忆层

如果不想被框架绑定,记忆层的核心只有两个动作——抽取写入与检索召回:

  1. import hashlib, time
  2. from datetime import datetime
  3. class MemoryStore:
  4. def __init__(self, vector_client, llm):
  5. self.vectordb = vector_client
  6. self.llm = llm
  7. def remember(self, user_id: str, text: str, importance: float = 0.5):
  8. # 1. 用 LLM 把对话抽取为原子事实,避免整段入库
  9. prompt = f"从以下内容抽取关于用户的可复用事实,每条一行,无则返回空:\n{text}"
  10. facts = [f.strip() for f in self.llm(prompt).split("\n") if f.strip()]
  11. for fact in facts:
  12. if importance < 0.3: # 低价值信息直接丢弃
  13. continue
  14. key = hashlib.md5(f"{user_id}:{fact}".encode()).hexdigest()
  15. self.vectordb.upsert(
  16. namespace=user_id, # 按用户隔离,防止串号
  17. id=key,
  18. text=fact,
  19. metadata={"ts": datetime.now().isoformat(), "importance": importance},
  20. )
  21. def recall(self, user_id: str, query: str, top_k: int = 5):
  22. hits = self.vectordb.search(namespace=user_id, query=query, top_k=top_k * 2)
  23. # 时间衰减 + 重要性加权,避免旧事实长期霸榜
  24. scored = sorted(
  25. hits,
  26. key=lambda h: h.score * h.metadata["importance"]
  27. / (1 + (time.time() - _parse(h.metadata["ts"])) / 86400),
  28. reverse=True,
  29. )
  30. return [h.text for h in scored[:top_k]]

三个设计点值得强调: 抽取而非整段入库 (否则召回的是噪声)、 namespace 按用户隔离 (多租户底线)、 时间衰减加权 (让近期偏好压过历史偏好)。

五、记忆质量的四个工程要点

  1. 冲突消解 :用户从”喜欢绿茶”变成”现在只喝红茶”,必须让新事实覆盖旧事实,而不是两条并存让模型随机选。做法是抽取时带上时间戳,召回时同主题只取最新。
  2. 遗忘机制 :给记忆设 TTL 与摘要化策略。会话摘要可以替代逐轮原文,既省 token 又减少矛盾。
  3. 记忆污染防护 :错误事实一旦被写入并被反复召回,会被模型当成”用户亲口说的”。建议对写入内容做置信度过滤,并保留可回溯的原始出处。
  4. 可评测 :固定一套多轮会话测试集,度量”该记住的召回率”和”不该记住的误召回率”。没有评测的记忆系统,调优全靠感觉。

六、别忘了成本:记忆是 token 消耗大户

记忆功能会在三个位置额外消耗 token:每轮注入召回结果、每次写入时的抽取调用、定期的摘要压缩。一个高频对话 Agent,记忆开销很容易超过主对话本身。

优化思路有三条:抽取和总结这类结构化任务交给轻量模型,主对话保留强模型;召回结果做长度裁剪,只注入 top 2~3 条;对超长历史优先用摘要而非全量拼接。具体怎么选,可以在词元所上按任务类型对比不同模型的价格与能力,并通过统一 API 接入方式避免为每个模型单独写适配层,后续换模型时改造成本更低。

七、选型建议

  • 快速验证 / 低代码交付 :直接用平台内置记忆表,配置角色指令即可跑通。
  • 生产级 Agent 产品 :LangGraph 或自建记忆层 + pgvector/Milvus,掌控写入与遗忘逻辑。
  • 数据不出私域的企业场景 :优先私有化部署的向量库与模型服务,配合完善的数据集管理与标注能力做记忆质量迭代。
  • 需要长期调优的团队 :把记忆抽取的 prompt 当作核心资产持续迭代,配合模型精调手段提升抽取准确率。

如果你正在为 Agent 选模型或核算记忆带来的调用成本,可以先到百度智能云词元所做一次模型能力与价格的横向对比,再决定记忆抽取用哪一档模型,往往能省下可观的推理开销。

发表评论

活动