# Agent递归自我改进(RSI)详解:大模型智能体如何越用越强
作者:十万个为什么2026.11.16 10:20浏览量:1简介:本文系统介绍LLM Agent递归自我改进(RSI)的概念与机制。读者将了解在模型权重不变的前提下,Agent如何通过Prompt优化、Memory进化、Skill进化与Harness进化四条路径,将交互经验沉淀为可复用的结构化能力,并掌握其工作原理、典型场景与落地注意事项。
agent-rsi-">一、概念定义:什么是Agent递归自我改进(RSI)
Agent递归自我改进(Recursive Self-Improvement,RSI),指的是基于大语言模型(LLM)的智能体在执行任务的过程中,利用自身产生的交互经验,对自身的组成部分进行诊断、修改和验证,从而使后续任务表现持续提升的一类技术机制。
可以从三个视角来理解这个定义:
- 技术视角:Agent由Prompt(指令)、Memory(记忆)、Skill(技能/流程)和Harness(工具接口与执行框架)等外部组件构成,RSI研究的就是这些组件如何依据经验被系统性地更新。
- 业务视角:Agent在使用中遇到报错、用户纠正、任务失败时,不再“同一个坑摔两次”,而是把修复过程沉淀为规则、记忆或技能,降低重复问题的处理成本。
- 使用视角:用户不需要重新训练或微调模型,就能观察到Agent随着使用时间推移而表现变好。
需要强调的是,RSI的核心特征在于“递归”二字:保留下来的经验和被更新的组件,本身还能参与到后续修改的诊断、生成与筛选环节。例如,上一次修复的记录可以帮助系统定位下一次失败;已有的更新经验可以帮助系统选择更有效的修改策略。也就是说,系统不仅要“更会完成任务”,还要“更会改进自己”。
二、背景与价值:为什么需要RSI
传统的Agent优化方式主要有两条路径:一是通过微调更新模型权重,成本高、周期长,且难以针对具体的任务失败快速响应;二是依赖人工编写和迭代Prompt、工具描述与流程规则,维护负担重,无法覆盖长尾场景。
RSI出现要解决的典型问题包括:
- 重复犯错:一个编程Agent调用接口时遇到参数变更导致的报错,经过几轮尝试修复了问题,但到了下一个任务,如果没有经验沉淀机制,它很可能再犯同样的错误。
- 经验流失:工具调用记录、执行结果、用户纠正和失败后的修复过程,这些天然产生的信息如果只存在于日志中,就只是“数据”而非“能力”。
- 改进不可控:Agent自行修改自身组件时,如何判断“什么时候该改、改哪里、改完是否有效”,缺乏系统化的方法会导致改进退化和行为漂移。
RSI的价值在于:在不改动模型权重的前提下,通过外部组件的结构化更新,让Agent的能力随使用持续积累,形成低成本、可验证、可长期使用的自我进化闭环。
三、核心组成:四条进化主线
近期来自多家研究机构的综述工作将现有RSI方法归纳为四条主线,并以数十项代表性研究绘制了研究全景:
1. Prompt优化
将反复验证有效的约束、规范或修正写进系统提示词或任务指令中。例如某类约束被多次证实能避免错误输出,就将其固化为持久指令。关键在于筛选——不是所有成功经验都值得写入,需要评估其泛化性,避免Prompt无限膨胀。
2. Memory进化
把用户偏好更新、环境变化、任务上下文等信息存入结构化记忆,并在后续任务中按需检索。Memory进化涉及写入时机、记忆组织方式、检索策略和过期淘汰机制,目标是让“对的经验”在“对的时机”被召回。
3. Skill进化
将成功的操作流程整理为可复用的技能模块或工作流模板。当Agent再次遇到同类任务时,可以直接调用技能而非从零推理,既提高成功率又降低 token 消耗。技能库需要管理技能的生命周期:创建、验证、组合、淘汰。
4. Harness进化
根据重复出现的失败模式,调整执行框架中的工具接口定义、参数校验逻辑和结果检查规则。这是最“底层”的进化方向,相当于Agent不断修缮自己的“操作系统”。
四、工作原理:经验如何变成结构
综述将整个机制抽象为三个相互关联的问题:什么时候应该改(When)、应该改哪里(Where)、怎样改(How)。
一个典型的更新闭环可以用伪代码描述:
loop 每次任务执行:result = Agent.run(task)signals = diagnose(result) # 诊断:识别失败模式或可优化点if should_update(signals): # When:评估更新时机与收益candidate = propose(signals) # Where+How:定位组件并生成修改方案if validate(candidate): # 验证:在回放或测试中确认有效apply(candidate) # 应用:写入Prompt/Memory/Skill/Harness# 已沉淀的经验参与下一次诊断与筛选,形成递归
其中三个关键环节缺一不可:
- 诊断:从交互记录中区分“偶发波动”与“系统性问题”,通常依赖失败聚类、规则匹配或让模型自评。
- 生成:针对定位到的组件生成具体修改,例如一条新约束、一条新记忆或一个新技能。
- 验证与筛选:这是决定改进能否长期有效的核心。缺乏验证的自动更新容易引入错误规则,导致性能退化甚至行为崩坏。常见做法包括历史任务回放评估、对照组测试和多轮一致性检查。
五、典型场景
- 代码生成与运维Agent:接口变更、依赖冲突、环境差异等问题的修复经验可以沉淀为校验规则和修复技能,显著提升长周期运行下的稳定性。
- 客服与业务助手:用户的纠正和偏好被写入记忆,业务流程被固化为技能,服务一致性随使用提升。
- 数据分析与RPA自动化:工具调用的失败模式驱动Harness层面的接口描述和检查逻辑优化,减少人工维护。
- 长周期个人助理:跨会话记忆与偏好进化是核心诉求,RSI机制直接决定其长期价值。
六、与相关概念的区别
- 与模型微调的区别:微调改变模型权重,成本高、更新慢;RSI主要更新外部组件,轻量、可追溯、可回滚。部分方法也会结合轻量训练,但外部结构更新是主体。
- 与简单的对话上下文记忆的区别:普通记忆只是保留对话历史;RSI强调经验经过诊断、生成、验证的结构化过程,且更新后的组件会参与后续的自我改进,形成闭环。
- 与AutoML等自动优化的区别:AutoML优化的是模型结构和超参数,RSI优化的是Agent的可读、可解释行为组件,粒度和对象不同。
七、使用注意事项
- 防退化机制:自动更新必须有验证和回滚能力,避免错误规则被反复放大。
- 组件膨胀管理:Prompt和记忆无限增长会带来检索噪声和上下文成本,需要设计淘汰与合并策略。
- 更新频率权衡:更新过频导致行为不稳定,过疏导致经验流失,通常需要触发条件与置信度阈值。
- 安全与可控性:Agent修改自身组件属于高权限操作,应限制可修改的范围、保留审计日志,并对敏感指令变更设置人工审核。
- 评测闭环:建立固定的回归评测集,定期验证进化后的Agent在历史任务上没有性能下降。
八、总结
Agent递归自我改进研究的核心命题是:经验如何转化为长期有效的指令、记忆、流程和运行规则。它不依赖模型权重的更新,而是通过Prompt、Memory、Skill、Harness四条进化主线,让Agent在“什么时候改、改哪里、怎么改”三个问题上形成可验证的闭环。对于需要在长周期、多任务环境中稳定运行的Agent系统而言,RSI是从“一次性交付”走向“持续进化”的关键技术方向;而其落地的成败,取决于验证机制、防退化设计和安全可控性的工程保障。

登录后可评论,请前往 登录 或 注册