用小模型压缩上下文:Agent输入成本怎么降
作者:梅琳marlin2026.11.17 03:35浏览量:0简介:一个编程Agent任务平均消耗约417万Token,多数是反复重放的历史上下文。本文拆解这笔账的构成,说明用4B小模型压缩历史的思路,附上阈值压缩的接入代码和选型建议,并用假设数据测算输入成本的降幅范围。
agent-token">一、一个Agent任务要烧掉多少Token
基于OpenHands框架、覆盖8个前沿模型的研究显示,在SWE-bench Verified这类真实仓库级任务上,一个完整的智能体编程任务平均消耗约417万Token。这个数字分别是单轮代码推理的约3500倍、多轮代码对话的约1200倍。反推可得:单轮代码推理约1.2K Token,多轮代码对话约3.5K Token,而一个完整的Agent任务约417万Token。阅读原研究时,可以确认样本数量以及统计的是平均值还是中位数,这些口径会影响结论的适用范围。
差距的来源是输入Token被反复重放。给现有系统加一个用户注册功能时,Agent要先读项目结构,定位用户管理与鉴权逻辑,改文件,跑测试,看报错,再改一轮。每一步产生的代码、检索结果和执行日志都会进入上下文,成为后续推理的依据。同一批历史信息会在接下来的每一轮里被再输入一次。
Agent API通常是无状态的,每轮都要把完整历史重新发送。假设每步新增c个Token,共n步,累计输入约为c·n²/2。成本随步数呈平方级增长:任务从5步变成20步,输入量涨的不是4倍,而是16倍。这就是上下文压缩比”选个便宜模型”更能直接控制Agent成本的原因。
二、三类压缩策略怎么选
工程上常见的压缩手段有三类,各有适用场景。
| 策略 | 做法 | 主要问题 | 适用场景 | 不适用场景 |
|---|---|---|---|---|
| 保真裁剪 | 滑窗、丢弃早期轮次 | 早期决策依据丢失,Agent无法解释自己为什么这样改 | 步骤相互独立的短任务 | 需要回溯早期决策的长任务 |
| 结构化摘要 | 用模型把历史重写成摘要 | 摘要质量取决于模型能力,用旗舰模型做摘要反而更贵 | 中长任务,需要较高压缩比 | 摘要模型能力不足,关键细节容易丢失 |
| 分层记忆 | 近期原文、远期摘要、按需检索回填 | 实现复杂,需要存储和检索基础设施 | 长周期、多阶段任务 | 小项目,缺少检索基础设施 |
4B上下文压缩模型把结构化摘要和分层记忆结合起来。它用一个专门训练的小模型,把冗长的上下文重写成信息密度更高的上下文。主模型不需要自己总结自己。
压缩器为什么要小?压缩器要处理全量历史。如果它本身是旗舰级大模型,压缩环节的开销会吃掉大部分收益。4B参数的模型可以在单张消费级显卡上运行,但推理速度和显存占用取决于量化方式和硬件,需要在自己的环境中实测。
三、成本怎么算,口径要先说清
主模型的成本公式如下:
总成本 = Σᵢ ( Iᵢ × P_in + Oᵢ × P_out )接入压缩后:Iᵢ = I_summary + Δᵢ其中 I_summary 为常驻摘要的开销,Δᵢ 为本轮新增内容
下面是一组示意测算。假设每轮新增5K Token,共20轮,压缩后上下文控制在12K以内。这些参数是假设值,不是实测结果。该表只计算主模型的输入Token,不含输出、重试和缓存。
| 策略 | 单

登录后可评论,请前往 登录 或 注册