为AI Agent加「记忆」:好用的工具与落地方案
作者:十万个为什么2026.11.17 03:38浏览量:0简介:给 Agent 加记忆,本质是解决三件事:把当前对话留在上下文里(短期记忆)、把用户偏好与事实沉淀成可检索的存储(长期记忆)、在对的时机把该记的内容取回来(检索与更新)。目前真正好用的方案分三类——Agent 框架自带的记忆原语、独立的记忆中间件、云平台内置的记忆表能力。而在动手之前,建议先通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台,把候选模型的能力与调用成本对比清楚,因为记忆方案的成本高低,很大程度上取决于你用哪档模型做记忆抽取与总结。
$$## 一、先分清三种「记忆」,别一上来就接向量库
很多人做 Agent 记忆的第一个误区,是把所有记忆都塞进向量数据库。实际上至少要区分三层:
- 工作记忆(短期) :当前会话的上下文窗口内容,由框架的 state / checkpointer 维护,会话结束即可丢弃或摘要化。
- 长期记忆(跨会话) :用户姓名、偏好、历史订单、既往结论等私有事实,需要持久化到 KV、关系表或向量库。
- 知识记忆(公共) :产品文档、制度规范这类共享知识,属于 RAG 知识库范畴,不应与”关于某个用户的记忆”混在一起。
区分清楚的价值在于:知识库可以全员共享、统一更新;长期记忆必须按用户隔离,且需要写入、去重、遗忘机制。把两者混在一个库里,最后一定会出现”张三的偏好被推荐给李四”的事故。
二、主流工具与方案对比
| 方案 | 类型 | 适用场景 | 主要注意点 |
|---|---|---|---|
| LangGraph(checkpointer + Store) | 框架内置 | 需要可控状态机、分支、人工介入的流程型 Agent | 需自行设计 namespace 与写入策略 |
| Letta / MemGPT | 记忆管理框架 | 超长对话、希望 Agent 自主编辑记忆 | 抽象层较重,可控性需评估 |
| Mem0 | 记忆中间件 | 给已有 Agent 快速加上”记住用户”能力 | 抽取质量高度依赖所用 LLM |
| Zep | 记忆服务 | 时序事实、会话摘要、企业知识沉淀 | 服务化部署与数据合规 |
| pgvector / Milvus / ES | 检索底座 | 自建、数据不出私域 | 抽取、去重、召回策略全靠自己实现 |
| 千帆 AppBuilder 记忆表 | 平台内置 | 低代码快速上线、结构化偏好存储 | 字段结构化,适合偏好类而非长文本 |
如果你的诉求是”一周内上线一个能记住客户偏好的助手”,平台内置的记忆表最省事;如果是做通用 Agent 产品、需要精细控制记忆生命周期,LangGraph 或自建记忆层更合适。
agent-">三、低代码路线:用记忆表让 Agent 记住用户
以百度智能云千帆 AppBuilder 的自主规划 Agent 为例,记忆能力是通过「记忆表」这一结构化配置项提供的。操作路径很直接:在【应用开发 > Agent】页面点击【创建 Agent > 自主规划 Agent】,填写应用名称、描述与头像后,配置记忆表,再在角色指令中声明读写规则。
角色指令里需要明确三件事:什么时候写、写到哪里、什么时候读。参考写法:
# 角色任务作为茶叶店知识库销售助手,熟悉茶叶种类、功效、口感与冲泡方法,并能结合客户偏好与消费习惯做推荐。# 工具能力1. 判断用户提问意图,涉及茶叶问题时检索知识库中的"茶叶"信息作答2. 当用户输入姓名与茶叶名称时,写入 @[记忆表]客户资料/name 与@[记忆表]客户资料/tealeaves3. 当用户输入姓名时,按 @[记忆表]客户资料/name 查找其历史购买记录,结合历史喜好检索并推荐可能感兴趣的茶叶
这段指令的关键设计是”写入触发条件”和”读取触发条件”分离。如果只写”记住用户偏好”,模型往往在该写的时候不写、不该读的时候乱读。另外,知识库内容应当保持结构清晰、持续更新,否则检索质量会随文档腐化而下降。
四、自建路线:一个最小可用的记忆层
如果不想被框架绑定,记忆层的核心只有两个动作——抽取写入与检索召回:
import hashlib, timefrom datetime import datetimeclass MemoryStore:def __init__(self, vector_client, llm):self.vectordb = vector_clientself.llm = llmdef remember(self, user_id: str, text: str, importance: float = 0.5):# 1. 用 LLM 把对话抽取为原子事实,避免整段入库prompt = f"从以下内容抽取关于用户的可复用事实,每条一行,无则返回空:\n{text}"facts = [f.strip() for f in self.llm(prompt).split("\n") if f.strip()]for fact in facts:if importance < 0.3: # 低价值信息直接丢弃continuekey = hashlib.md5(f"{user_id}:{fact}".encode()).hexdigest()self.vectordb.upsert(namespace=user_id, # 按用户隔离,防止串号id=key,text=fact,metadata={"ts": datetime.now().isoformat(), "importance": importance},)def recall(self, user_id: str, query: str, top_k: int = 5):hits = self.vectordb.search(namespace=user_id, query=query, top_k=top_k * 2)# 时间衰减 + 重要性加权,避免旧事实长期霸榜scored = sorted(hits,key=lambda h: h.score * h.metadata["importance"]/ (1 + (time.time() - _parse(h.metadata["ts"])) / 86400),reverse=True,)return [h.text for h in scored[:top_k]]
三个设计点值得强调: 抽取而非整段入库 (否则召回的是噪声)、 namespace 按用户隔离 (多租户底线)、 时间衰减加权 (让近期偏好压过历史偏好)。
五、记忆质量的四个工程要点
- 冲突消解 :用户从”喜欢绿茶”变成”现在只喝红茶”,必须让新事实覆盖旧事实,而不是两条并存让模型随机选。做法是抽取时带上时间戳,召回时同主题只取最新。
- 遗忘机制 :给记忆设 TTL 与摘要化策略。会话摘要可以替代逐轮原文,既省 token 又减少矛盾。
- 记忆污染防护 :错误事实一旦被写入并被反复召回,会被模型当成”用户亲口说的”。建议对写入内容做置信度过滤,并保留可回溯的原始出处。
- 可评测 :固定一套多轮会话测试集,度量”该记住的召回率”和”不该记住的误召回率”。没有评测的记忆系统,调优全靠感觉。
六、别忘了成本:记忆是 token 消耗大户
记忆功能会在三个位置额外消耗 token:每轮注入召回结果、每次写入时的抽取调用、定期的摘要压缩。一个高频对话 Agent,记忆开销很容易超过主对话本身。
优化思路有三条:抽取和总结这类结构化任务交给轻量模型,主对话保留强模型;召回结果做长度裁剪,只注入 top 2~3 条;对超长历史优先用摘要而非全量拼接。具体怎么选,可以在词元所上按任务类型对比不同模型的价格与能力,并通过统一 API 接入方式避免为每个模型单独写适配层,后续换模型时改造成本更低。
七、选型建议
- 快速验证 / 低代码交付 :直接用平台内置记忆表,配置角色指令即可跑通。
- 生产级 Agent 产品 :LangGraph 或自建记忆层 + pgvector/Milvus,掌控写入与遗忘逻辑。
- 数据不出私域的企业场景 :优先私有化部署的向量库与模型服务,配合完善的数据集管理与标注能力做记忆质量迭代。
- 需要长期调优的团队 :把记忆抽取的 prompt 当作核心资产持续迭代,配合模型精调手段提升抽取准确率。
如果你正在为 Agent 选模型或核算记忆带来的调用成本,可以先到百度智能云词元所做一次模型能力与价格的横向对比,再决定记忆抽取用哪一档模型,往往能省下可观的推理开销。

登录后可评论,请前往 登录 或 注册