Coding Agent上下文压缩怎么选
作者:carzy2026.11.16 11:03浏览量:0简介:本文对比全量保留与基于动作一致性的观察压缩两种方案,分析Token成本、任务完成率、延迟与安全风险,给出成本估算方法、选型建议和迁移检查项,帮助开发者按任务复杂度和预算做出判断。
agent-">对比背景:Coding Agent的上下文为什么会膨胀
基于大语言模型的Coding Agent正在承担越来越多的软件工程工作。这类Agent通常按照“搜索代码、修改程序、运行测试、分析日志”的循环推进任务。每一轮产生的Observation(观察结果),包括文件片段、代码搜索结果和终端日志,都会留在历史中。下一轮调用模型时,这些历史内容通常要整段带上。
任务越复杂,轮数越多,上下文就越长。原始资料引用的一组统计显示,在部分主流代码评测中,Observation占总Token消耗的比例在45.7%至67.8%之间。这一数字的具体来源、评测集和统计口径需要以原始报告为准。无论比例精确与否,历史内容增长都会带来两个直接问题:调用费用上升,以及上下文接近窗口上限时触发截断,进而影响任务完成率。因此,如何压缩Observation成为该领域的一个关注重点。
本文比较两条常见路线:传统全量上下文保留,以及基于动作一致性的观察压缩。文章从架构、成本、任务表现和安全风险几个方面进行分析,并给出选型依据、成本估算方法和迁移时的检查项。
对象定义:两种上下文管理路线
方案A:传统全量上下文保留
方案A是最直接的做法。Agent在执行过程中产生的每一条Observation都原样保存在对话历史中。无论是几十行报错,还是上百行代码,都会拼接进下一次推理的Prompt。这种方案不需要额外模块,主要依靠模型自身的长文本理解能力处理历史信息。
方案B:基于动作一致性的观察压缩
方案B的核心标准是动作一致性。它不要求压缩后的文本在语义上与原文相似,而是判断:删除某段历史后,Agent下一步的动作是否改变。如果动作不变,这段内容就被视为可以安全压缩。
该思路来自近期一篇学术会议论文。论文的实验设置、模型版本和评测细节请以原文为准。使用时,应把论文报告的数字理解为特定实验条件下的结果。
相同点分析
两种方案在信息处理方式上差别明显,但在以下方面相同。
- 目标一致:两者都服务于让Coding Agent完成软件开发任务,例如修复Bug、实现功能或重构代码。
- 底层依赖一致:两者都依赖大语言模型的推理与代码生成能力,并通过代码搜索工具、终端等外部环境与代码库交互。
- 工作流相似:无论历史是否压缩,Agent的基本循环都是感知、推理、行动。Agent都需要理解代码库结构,并解读测试反馈。
核心差异分析
技术架构与处理逻辑
方案A采用线性的数据流。上下文管理器只负责收集和拼接历史,不做过滤。所有Observation在组装Prompt时权重相同。
方案B在提交历史之前加入一个评估与压缩模块。系统先判断每条历史Observation对当前及后续决策是否有影响,再裁剪无关内容。这个模块增加了系统复杂度和额外调用开销,但能减少进入主模型的输入量。
成本结构
方案A的Token消耗随轮数快速增长。每次调用都要带上完整轨迹,多轮调试时成本上升很快。
方案B的输入量更低。原文报告的实验中,压缩方案平均减少约33%的总Token消耗。这一数字依赖特定评测集、模型版本和计量口径,不能直接套用到其他任务。压缩评估本身也要消耗资源,因此净节省需要单独核算,见后文的估算方法。
任务完成率与延迟
方案A保留了全部细节,理论上不存在信息遗漏。但在超长上下文中,模型可能出现“中间迷失”,即注意力被大量冗余信息分散,任务完成率随之波动。
方案B通过降噪提高了信息密度。原文实验中,压缩后PASS@1由69.0%变为71.0%。这一差距只有2个百分点,且没有给出显著性检验结果。因此,它只能说明压缩后未观察到明显退化,不能证明压缩一定能提升成功率。
延迟方面,方案B每轮都要做评估,会增加响应时间。方案A没有这部分开销。
安全与合规
方案A每次都会把全量上下文发送给外部模型服务。其中可能包含更多敏感代码和系统日志,数据暴露面更大。
方案B可以在本地压缩阶段过滤带有敏感信息的冗余日志,只把决策相关的内容发送给模型。这能缩小暴露面,但前提是过滤规则可靠。规则出错时,敏感内容仍可能外发,因此合规团队应审查过滤逻辑。
关键差异对比表格
| 对比维度 | 传统全量上下文保留方案 | 基于动作一致性的观察压缩方案 |
|---|---|---|
| 上下文管理策略 | 被动拼接,全量保留 | 主动评估,动态裁剪冗余 |
| Token消耗 | 随轮数快速增长,Observation占比可达60%以上(依原文引用数据) | 报告中平均降低约33%,需按自身场景复核 |
| 额外调用成本 | 无 | 每个候选Observation需要1次额外推理 |
| 响应延迟 | 无额外评估延迟 | 每轮增加评估耗时 |
| 任务完成率 | 受长文本干扰,可能下降 | 报告中未见明显退化,需自行验证 |
| 架构复杂度 | 低,无需额外模块 | 较高,需要压缩评估与回滚逻辑 |
| 模型注意力 | 易被冗长日志分散 | 聚焦当前关键决策信息 |
| 敏感信息暴露 | 全量外发,暴露面较大 | 可在本地过滤,但依赖过滤规则质量 |
| 适用任务复杂度 | 简单、短链路任务 | 复杂、多轮迭代的工程任务 |
典型场景选择
哪些场景适合方案A?
快速原型和简单脚本生成通常在2到3轮交互内完成,产生的Observation很少。这类任务中,引入压缩模块会增加初始化复杂度,节省的费用也有限。方案A更合适。
哪些场景适合方案B?
面对遗留系统的复杂Bug时,Agent可能需要阅读大量文件,并反复运行测试。上下文会迅速膨胀,超出窗口限制的风险随之上升。这类场景中,方案B值得优先评估,以控制成本并降低因截断导致失败的概率。
成本敏感的批量处理适合方案B吗?
当企业需要让Agent处理大量代码仓库时,Token费用是主要考量。方案B在这类场景中通常更有优势。但压缩评估的开销会随仓库数量累积,因此应先在小批量样本上计算净节省,再决定是否全面推广。
选型建议
选型时,可以根据团队阶段和约束条件做判断。
- 早期探索阶段:模型调用预算充足,团队缺乏底层Agent框架的定制能力,建议先用方案A跑通流程,验证模型在业务场景中的可行性。
- 面向生产、链路较长、推理成本敏感:建议优先评估方案B或同类上下文压缩机制。评估时应使用本团队的真实任务样本,而不是直接采用论文数字。
- 基础设施:压缩方案需要稳定的模型推理服务和可观测的日志系统。团队可以选用具备稳定推理能力和云原生组件的服务商,具体选择应结合价格、合规要求和已有技术栈决定。
怎么估算迁移后的成本?
可以用以下公式估算单次任务的成本:
C_total = Σ(i=1 到 N) (H_i × p) + Σ(i=1 到 N) E_i
其中,N为轮数,H_i为第i轮主模型的输入Token数,p为主模型的单价,E_i为第i轮压缩评估的额外成本。
举一个假设的例子。任务共20轮,基础Prompt为2000个Token,每轮新增Observation约3000个Token。方案A中,第i轮输入为2000加3000乘以(i减1),20轮合计约61万个输入Token。若方案B使压缩后的有效历史降至全量的60%,主模型输入合计约38.2万个Token,降幅约37%。假设评估器使用价格为主模型十分之一的小模型,每轮输入约1500个Token,共20轮,折合约3000个主模型等价Token。两者相抵后,净节省约35%。
这个例子只用于说明计算方法,实际数值需要用真实日志替换。
迁移与使用注意事项
从方案A迁移到方案B时,需要处理以下问题。
- 压缩过度导致死循环:压缩策略过于激进时,可能误删后续步骤需要的信息,Agent会重复同样的操作。建议先在影子模式下运行,只记录哪些Observation可压缩,但不实际生效。确认误判率可接受后,再开启真实压缩。
- 状态无法回滚:传统状态管理器通常只追加记录。引入压缩后,需要支持软删除或历史折叠,并保留原文,确保任务回滚时能恢复必要上下文。
- 跨模型敏感度差异:不同模型对上下文缺失的敏感程度不同。更换压缩方案或底层模型后,都应重新做基准测试,确认任务通过率没有明显下降。
- 评估开销失控:每个候选Observation都可能触发一次额外推理。应限制候选数量,并缓存已判定的结果。
- 敏感过滤失效:本地过滤规则漏判时,敏感内容仍会外发。应对过滤规则单独测试,并记录被裁剪内容的摘要,便于审计。
方案B的核心逻辑怎么实现?
下面的伪代码展示了接入观察压缩模块的基本结构。接口为示意,需要按实际框架调整。
from dataclasses import dataclass@dataclassclass Observation:step: intcontent: strtokens: intcompressed: bool = Falseoriginal: str | None = None # 保留原文,用于回滚class CodingAgent:def __init__(self, llm, executor, shadow_mode=True,max_prompt_tokens=100_000, keep_recent=3):self.llm = llmself.executor = executorself.shadow_mode = shadow_modeself.max_prompt_tokens = max_prompt_tokensself.keep_recent = keep_recentself.history: list[Observation] = []self.shadow_log: list[tuple[int, bool]] = []self.query = ""def run(self, query):self.query = queryself._maybe_compress()action = self._predict()observation = self.executor.run(action)self.history.append(Observation(step=len(self.history),content=observation.text,tokens=observation.tokens,))return observationdef _predict(self):return self.llm.predict(self._build_prompt())def _build_prompt(self):lines = [f"任务:{self.query}"]lines += [f"[step {o.step}] {o.content}" for o in self.history]return "\n".join(lines)def _used_tokens(self):return sum(o.tokens for o in self.history if not o.compressed)def _maybe_compress(self):threshold = self.max_prompt_tokens * 0.6if self._used_tokens() < threshold:returnfull_action = self._predict()# 最近的观察通常是当前决策的直接依据,不参与压缩older = self.history[:len(self.history) - self.keep_recent]for obs in older:if obs.compressed:continuesafe = self._is_removable(obs, full_action)if self.shadow_mode:self.shadow_log.append((obs.step, safe))continueif safe:self._fold(obs)if self._used_tokens() < threshold:breakdef _is_removable(self, obs, full_action):"""隐藏该观察后,若动作类型和目标不变,则判定为可压缩。"""saved = obs.contentobs.content = f"[已折叠 step={obs.step}]"try:hidden_action = self._predict()finally:obs.content = savedreturn (hidden_action.action_type == full_action.action_typeand hidden_action.target == full_action.target)def _fold(self, obs):obs.original = obs.contentobs.content = f"[已折叠 step={obs.step}]"obs.compressed = Truedef restore(self, step):obs = self.history[step]if obs.compressed:obs.content = obs.originalobs.compressed = False
代码的执行顺序如下。每轮开始时,若未压缩的历史超过阈值,系统从较早的Observation开始逐条判断。对每条候选,系统先用原内容得到一次动作,再把该内容替换为折叠占位符,得到第二次动作。两次动作的类型和目标一致,才会被折叠。折叠前保存原文,因此restore可以在任务回滚时恢复内容。
这段代码有两个局限。第一,动作比较只看类型和目标,可能漏掉参数层面的差异,实际项目中应按任务需要增加比较项。第二,每个候选都要一次额外推理,候选较多时开销明显,应限制每轮处理的数量,并缓存判定结果。
总结
全量保留方案实现简单,适合早期探索和短链路任务。但长任务中,它的Token成本和上下文截断风险都会上升。动作一致性压缩能降低输入量,报告中的任务表现也未见退化,但它增加了评估开销和工程复杂度,压缩规则出错还会带来死循环和敏感信息外发的风险。选型时,应以本团队的真实任务日志为依据,分别计算两种方案的净成本与任务通过率,再作决定。

登录后可评论,请前往 登录 或 注册