logo

Coding Agent上下文压缩怎么选

作者:carzy2026.11.16 11:03浏览量:0

简介:本文对比全量保留与基于动作一致性的观察压缩两种方案,分析Token成本、任务完成率、延迟与安全风险,给出成本估算方法、选型建议和迁移检查项,帮助开发者按任务复杂度和预算做出判断。

agent-">对比背景:Coding Agent的上下文为什么会膨胀

基于大语言模型的Coding Agent正在承担越来越多的软件工程工作。这类Agent通常按照“搜索代码、修改程序、运行测试、分析日志”的循环推进任务。每一轮产生的Observation(观察结果),包括文件片段、代码搜索结果和终端日志,都会留在历史中。下一轮调用模型时,这些历史内容通常要整段带上。

任务越复杂,轮数越多,上下文就越长。原始资料引用的一组统计显示,在部分主流代码评测中,Observation占总Token消耗的比例在45.7%至67.8%之间。这一数字的具体来源、评测集和统计口径需要以原始报告为准。无论比例精确与否,历史内容增长都会带来两个直接问题:调用费用上升,以及上下文接近窗口上限时触发截断,进而影响任务完成率。因此,如何压缩Observation成为该领域的一个关注重点。

本文比较两条常见路线:传统全量上下文保留,以及基于动作一致性的观察压缩。文章从架构、成本、任务表现和安全风险几个方面进行分析,并给出选型依据、成本估算方法和迁移时的检查项。

对象定义:两种上下文管理路线

方案A:传统全量上下文保留

方案A是最直接的做法。Agent在执行过程中产生的每一条Observation都原样保存在对话历史中。无论是几十行报错,还是上百行代码,都会拼接进下一次推理的Prompt。这种方案不需要额外模块,主要依靠模型自身的长文本理解能力处理历史信息。

方案B:基于动作一致性的观察压缩

方案B的核心标准是动作一致性。它不要求压缩后的文本在语义上与原文相似,而是判断:删除某段历史后,Agent下一步的动作是否改变。如果动作不变,这段内容就被视为可以安全压缩。

该思路来自近期一篇学术会议论文。论文的实验设置、模型版本和评测细节请以原文为准。使用时,应把论文报告的数字理解为特定实验条件下的结果。

相同点分析

两种方案在信息处理方式上差别明显,但在以下方面相同。

  1. 目标一致:两者都服务于让Coding Agent完成软件开发任务,例如修复Bug、实现功能或重构代码。
  2. 底层依赖一致:两者都依赖大语言模型的推理与代码生成能力,并通过代码搜索工具、终端等外部环境与代码库交互。
  3. 工作流相似:无论历史是否压缩,Agent的基本循环都是感知、推理、行动。Agent都需要理解代码库结构,并解读测试反馈。

核心差异分析

技术架构与处理逻辑

方案A采用线性的数据流。上下文管理器只负责收集和拼接历史,不做过滤。所有Observation在组装Prompt时权重相同。

方案B在提交历史之前加入一个评估与压缩模块。系统先判断每条历史Observation对当前及后续决策是否有影响,再裁剪无关内容。这个模块增加了系统复杂度和额外调用开销,但能减少进入主模型的输入量。

成本结构

方案A的Token消耗随轮数快速增长。每次调用都要带上完整轨迹,多轮调试时成本上升很快。

方案B的输入量更低。原文报告的实验中,压缩方案平均减少约33%的总Token消耗。这一数字依赖特定评测集、模型版本和计量口径,不能直接套用到其他任务。压缩评估本身也要消耗资源,因此净节省需要单独核算,见后文的估算方法。

任务完成率与延迟

方案A保留了全部细节,理论上不存在信息遗漏。但在超长上下文中,模型可能出现“中间迷失”,即注意力被大量冗余信息分散,任务完成率随之波动。

方案B通过降噪提高了信息密度。原文实验中,压缩后PASS@1由69.0%变为71.0%。这一差距只有2个百分点,且没有给出显著性检验结果。因此,它只能说明压缩后未观察到明显退化,不能证明压缩一定能提升成功率。

延迟方面,方案B每轮都要做评估,会增加响应时间。方案A没有这部分开销。

安全与合规

方案A每次都会把全量上下文发送给外部模型服务。其中可能包含更多敏感代码和系统日志,数据暴露面更大。

方案B可以在本地压缩阶段过滤带有敏感信息的冗余日志,只把决策相关的内容发送给模型。这能缩小暴露面,但前提是过滤规则可靠。规则出错时,敏感内容仍可能外发,因此合规团队应审查过滤逻辑。

关键差异对比表格

对比维度 传统全量上下文保留方案 基于动作一致性的观察压缩方案
上下文管理策略 被动拼接,全量保留 主动评估,动态裁剪冗余
Token消耗 随轮数快速增长,Observation占比可达60%以上(依原文引用数据) 报告中平均降低约33%,需按自身场景复核
额外调用成本 无 每个候选Observation需要1次额外推理
响应延迟 无额外评估延迟 每轮增加评估耗时
任务完成率 受长文本干扰,可能下降 报告中未见明显退化,需自行验证
架构复杂度 低,无需额外模块 较高,需要压缩评估与回滚逻辑
模型注意力 易被冗长日志分散 聚焦当前关键决策信息
敏感信息暴露 全量外发,暴露面较大 可在本地过滤,但依赖过滤规则质量
适用任务复杂度 简单、短链路任务 复杂、多轮迭代的工程任务

典型场景选择

哪些场景适合方案A?

快速原型和简单脚本生成通常在2到3轮交互内完成,产生的Observation很少。这类任务中,引入压缩模块会增加初始化复杂度,节省的费用也有限。方案A更合适。

哪些场景适合方案B?

面对遗留系统的复杂Bug时,Agent可能需要阅读大量文件,并反复运行测试。上下文会迅速膨胀,超出窗口限制的风险随之上升。这类场景中,方案B值得优先评估,以控制成本并降低因截断导致失败的概率。

成本敏感的批量处理适合方案B吗?

当企业需要让Agent处理大量代码仓库时,Token费用是主要考量。方案B在这类场景中通常更有优势。但压缩评估的开销会随仓库数量累积,因此应先在小批量样本上计算净节省,再决定是否全面推广。

选型建议

选型时,可以根据团队阶段和约束条件做判断。

  • 早期探索阶段:模型调用预算充足,团队缺乏底层Agent框架的定制能力,建议先用方案A跑通流程,验证模型在业务场景中的可行性。
  • 面向生产、链路较长、推理成本敏感:建议优先评估方案B或同类上下文压缩机制。评估时应使用本团队的真实任务样本,而不是直接采用论文数字。
  • 基础设施:压缩方案需要稳定的模型推理服务和可观测的日志系统。团队可以选用具备稳定推理能力和云原生组件的服务商,具体选择应结合价格、合规要求和已有技术栈决定。

怎么估算迁移后的成本?

可以用以下公式估算单次任务的成本:

C_total = Σ(i=1 到 N) (H_i × p) + Σ(i=1 到 N) E_i

其中,N为轮数,H_i为第i轮主模型的输入Token数,p为主模型的单价,E_i为第i轮压缩评估的额外成本。

举一个假设的例子。任务共20轮,基础Prompt为2000个Token,每轮新增Observation约3000个Token。方案A中,第i轮输入为2000加3000乘以(i减1),20轮合计约61万个输入Token。若方案B使压缩后的有效历史降至全量的60%,主模型输入合计约38.2万个Token,降幅约37%。假设评估器使用价格为主模型十分之一的小模型,每轮输入约1500个Token,共20轮,折合约3000个主模型等价Token。两者相抵后,净节省约35%。

这个例子只用于说明计算方法,实际数值需要用真实日志替换。

迁移与使用注意事项

从方案A迁移到方案B时,需要处理以下问题。

  1. 压缩过度导致死循环:压缩策略过于激进时,可能误删后续步骤需要的信息,Agent会重复同样的操作。建议先在影子模式下运行,只记录哪些Observation可压缩,但不实际生效。确认误判率可接受后,再开启真实压缩。
  2. 状态无法回滚:传统状态管理器通常只追加记录。引入压缩后,需要支持软删除或历史折叠,并保留原文,确保任务回滚时能恢复必要上下文。
  3. 跨模型敏感度差异:不同模型对上下文缺失的敏感程度不同。更换压缩方案或底层模型后,都应重新做基准测试,确认任务通过率没有明显下降。
  4. 评估开销失控:每个候选Observation都可能触发一次额外推理。应限制候选数量,并缓存已判定的结果。
  5. 敏感过滤失效:本地过滤规则漏判时,敏感内容仍会外发。应对过滤规则单独测试,并记录被裁剪内容的摘要,便于审计。

方案B的核心逻辑怎么实现?

下面的伪代码展示了接入观察压缩模块的基本结构。接口为示意,需要按实际框架调整。

  1. from dataclasses import dataclass
  2. @dataclass
  3. class Observation:
  4. step: int
  5. content: str
  6. tokens: int
  7. compressed: bool = False
  8. original: str | None = None # 保留原文,用于回滚
  9. class CodingAgent:
  10. def __init__(self, llm, executor, shadow_mode=True,
  11. max_prompt_tokens=100_000, keep_recent=3):
  12. self.llm = llm
  13. self.executor = executor
  14. self.shadow_mode = shadow_mode
  15. self.max_prompt_tokens = max_prompt_tokens
  16. self.keep_recent = keep_recent
  17. self.history: list[Observation] = []
  18. self.shadow_log: list[tuple[int, bool]] = []
  19. self.query = ""
  20. def run(self, query):
  21. self.query = query
  22. self._maybe_compress()
  23. action = self._predict()
  24. observation = self.executor.run(action)
  25. self.history.append(Observation(
  26. step=len(self.history),
  27. content=observation.text,
  28. tokens=observation.tokens,
  29. ))
  30. return observation
  31. def _predict(self):
  32. return self.llm.predict(self._build_prompt())
  33. def _build_prompt(self):
  34. lines = [f"任务:{self.query}"]
  35. lines += [f"[step {o.step}] {o.content}" for o in self.history]
  36. return "\n".join(lines)
  37. def _used_tokens(self):
  38. return sum(o.tokens for o in self.history if not o.compressed)
  39. def _maybe_compress(self):
  40. threshold = self.max_prompt_tokens * 0.6
  41. if self._used_tokens() < threshold:
  42. return
  43. full_action = self._predict()
  44. # 最近的观察通常是当前决策的直接依据,不参与压缩
  45. older = self.history[:len(self.history) - self.keep_recent]
  46. for obs in older:
  47. if obs.compressed:
  48. continue
  49. safe = self._is_removable(obs, full_action)
  50. if self.shadow_mode:
  51. self.shadow_log.append((obs.step, safe))
  52. continue
  53. if safe:
  54. self._fold(obs)
  55. if self._used_tokens() < threshold:
  56. break
  57. def _is_removable(self, obs, full_action):
  58. """隐藏该观察后,若动作类型和目标不变,则判定为可压缩。"""
  59. saved = obs.content
  60. obs.content = f"[已折叠 step={obs.step}]"
  61. try:
  62. hidden_action = self._predict()
  63. finally:
  64. obs.content = saved
  65. return (hidden_action.action_type == full_action.action_type
  66. and hidden_action.target == full_action.target)
  67. def _fold(self, obs):
  68. obs.original = obs.content
  69. obs.content = f"[已折叠 step={obs.step}]"
  70. obs.compressed = True
  71. def restore(self, step):
  72. obs = self.history[step]
  73. if obs.compressed:
  74. obs.content = obs.original
  75. obs.compressed = False

代码的执行顺序如下。每轮开始时,若未压缩的历史超过阈值,系统从较早的Observation开始逐条判断。对每条候选,系统先用原内容得到一次动作,再把该内容替换为折叠占位符,得到第二次动作。两次动作的类型和目标一致,才会被折叠。折叠前保存原文,因此restore可以在任务回滚时恢复内容。

这段代码有两个局限。第一,动作比较只看类型和目标,可能漏掉参数层面的差异,实际项目中应按任务需要增加比较项。第二,每个候选都要一次额外推理,候选较多时开销明显,应限制每轮处理的数量,并缓存判定结果。

总结

全量保留方案实现简单,适合早期探索和短链路任务。但长任务中,它的Token成本和上下文截断风险都会上升。动作一致性压缩能降低输入量,报告中的任务表现也未见退化,但它增加了评估开销和工程复杂度,压缩规则出错还会带来死循环和敏感信息外发的风险。选型时,应以本团队的真实任务日志为依据,分别计算两种方案的净成本与任务通过率,再作决定。

发表评论

活动