logo

上下文上限治理:全量注入与压缩摘要对比

作者:十万个为什么2026.11.16 11:01浏览量:0

简介:当智能体会话越来越长,上下文上限、输入成本和响应质量容易同时恶化。本文对比全量上下文注入与压缩摘要、检索增强两类治理方案,分析其在信息完整性、成本、稳定性、安全和运维上的差异,帮助读者判断何时保留完整上下文,何时采用摘要压缩,并给出可执行的选型与迁移建议。

在智能对话与智能体应用落地过程中,很多团队会遇到类似问题:系统刚接入时运行正常,随着会话轮次增加、规则文件增多、工具调用变频繁,突然出现上下文上限提示,或者模型回复质量下降、响应变慢、费用明显上升。表面上看,这是“上下文太长”导致的,但真正需要回答的问题是:每次请求到底携带了哪些内容,哪些内容必须保留,哪些内容可以压缩、检索、延迟加载或按需调用。

围绕这个问题,本文对比两类常见的上下文治理方案:一类是“全量上下文注入方案”,即每次请求都把系统规则、配置文件、历史对话、知识片段等尽量完整地拼接进上下文;另一类是“压缩摘要与检索增强方案”,即通过摘要、分层记忆、检索召回、预算裁剪等方式,把有限上下文窗口分配给真正重要的信息。两者的目标一致,都是让模型理解当前任务,但在架构、成本、稳定性、安全边界和运维方式上存在明显差异。

一、对比对象:全量上下文注入与压缩摘要检索

1. 全量上下文注入方案

全量上下文注入方案的基本思路是:在一次请求中,尽可能完整地把所有可能影响模型输出的信息放进去。这些信息通常包括:

  • 系统级提示词,例如基础行为规范、安全约束、输出格式要求;
  • 角色或人格设定,例如助手身份、语气风格、任务边界;
  • 业务规则文件,例如操作流程、字段定义、业务术语;
  • 用户偏好信息,例如语言习惯、常用格式、历史选择;
  • 工具说明,例如可调用能力、参数约束、调用条件;
  • 历史对话记录,尤其是近期多轮对话;
  • 工作区文件、知识文档或外部检索结果。

这种方案的优势在于实现直观、链路简单。开发团队不需要额外建设摘要服务、检索服务或记忆压缩模块,只需要把已有内容按顺序拼接即可。对于短会话、单轮问答、规则简单、上下文规模较小的场景,这种方式往往足够有效,也便于调试和问题复现。

但问题在于,随着系统运行,注入内容会不断累积。配置越多、历史越长、工具越多,单次请求携带的内容就越大。模型每一次生成,都需要先“读”完这些前缀内容,再理解当前用户输入。最终的结果可能是:用户只问了一句简单问题,模型却处理了大量与当前任务无关或弱相关的背景信息。

2. 压缩摘要与检索增强方案

压缩摘要与检索增强方案并不试图把所有信息都塞入上下文,而是将上下文拆分成不同层级,并根据任务需要动态组装。典型组成包括:

  • 最小必要系统提示:只保留当前任务必须遵守的规范;
  • 结构化角色配置:根据任务类型加载不同角色或规则;
  • 会话滚动摘要:将早期对话压缩为任务状态、关键结论、待办事项;
  • 关键信息抽取:保留实体、参数、约束、用户偏好等核心信息;
  • 检索增强召回:从知识库、文档库或业务系统中召回与当前问题最相关的片段;
  • 工具结果缓存:仅保留最近一次或最近几次关键工具调用的结果;
  • 预算裁剪机制:在超出上下文预算时,按优先级删除低价值内容。

这种方案的核心是“信息按需进入上下文”。模型不再被动接收全部历史,而是接收与当前任务高度相关的信息。这样可以显著降低无效输入,提高上下文的有效信息密度。不过,它也引入了额外复杂度:需要维护摘要策略、检索策略、权限策略、缓存策略和降级策略。如果设计不当,可能出现关键信息丢失、召回不准、摘要失真或上下文不一致等问题。

二、为什么会触发上下文上限

要理解两类方案的差异,需要先理解上下文窗口的资源竞争关系。通用的大模型服务通常会将上下文窗口视为有限资源。一次请求能够处理的输入 token 数量、输出 token 数量以及模型可接受的总长度都有边界。实际可用的输入空间,往往等于模型上下文能力减去需要预留的输出空间。

一次请求的大致构成可以表示为:

  1. 总输入 token ≈ 系统提示词 token
  2. + 配置文件 token
  3. + 历史对话 token
  4. + 摘要或检索片段 token
  5. + 当前用户输入 token

如果系统提示词和配置文件本身已经占用了大量 token,那么留给历史对话和当前问题的空间就会减少。随着对话轮次增加,历史记录不断叠加,系统很快会触及上限。此时常见表现包括:请求被拒绝、上下文被截断、模型遗忘早期信息、回复重复、指令遵循能力下降等。

因此,上下文上限不是一个单纯的长度问题,而是一个预算分配问题。治理上下文的目标不是简单“缩短对话”,而是让有限预算优先服务于当前任务。

三、两类方案的相同点

尽管实现路径不同,两类方案在目标和技术边界上仍有明显共同点。

1. 都受模型上下文窗口约束

无论采用全量注入还是摘要压缩,最终仍然要提交给模型处理。模型能够感知的信息范围始终受上下文窗口限制。压缩方案只是改变信息进入上下文的方式,并不能突破模型本身的上下文能力。

2. 都需要保证任务可理解性

两类方案都必须回答同一个问题:模型当前最需要知道什么?全量注入通过“全部提供”降低遗漏风险,压缩摘要则通过“精选保留”提高信噪比。两者都需要围绕任务完整性、指令遵循、安全合规和信息一致性展开设计。

3. 都存在成本问题

上下文越长,输入 token 越多,通常也会带来更高的调用成本、更高的延迟和更复杂的监控问题。压缩摘要可以降低单次输入成本,但会引入摘要生成、检索、缓存和存储等额外开销。全量注入实现简单,但长期运行容易形成高固定开销。

4. 都需要权限与安全边界

如果上下文中包含用户数据、业务文档、工具结果或历史记录,就必须考虑数据隔离和权限控制。全量注入更容易把历史敏感信息带入后续请求,压缩摘要则需要确保摘要、检索和缓存过程不会越权泄露信息。两者都需要在数据生命周期中建立访问控制。

四、核心差异分析

1. 架构差异:静态拼接与动态编排

全量上下文注入通常表现为静态拼接。系统按照固定顺序把规则、配置、历史、工具说明等内容组合成提示词。这种架构优点是实现简单,缺点是缺乏弹性。一旦某个配置文件膨胀,所有请求都会受到影响。

压缩摘要与检索增强方案更接近动态编排。上下文不再是固定长文,而是由多个模块按需生成。例如,当前任务是查询订单,系统只加载订单规则和相关知识片段;当前任务是写报告,系统则加载写作规范和近期摘要。此类架构更灵活,但需要额外建设编排层。

2. token 成本差异:高频固定开销与按需开销

全量注入方案的一个典型问题是固定开销较高。系统提示词、角色设定、工具说明、业务规则等内容会在每次请求中重复出现。即使当前用户问题非常简单,这部分内容仍然会占用输入预算。

压缩摘要方案通常会把固定内容拆分为核心规则与扩展规则。核心规则只保留必要部分,扩展规则仅在相关任务中加载。历史对话也会被压缩成摘要或关键状态,而不是每次重放完整记录。这样可以减少重复输入,但需要注意摘要生成本身也会产生额外调用成本。

3. 信息完整性差异:全量保真与摘要损失

全量注入的优势在于信息保真。历史对话、工具结果、用户原话等内容被完整保留,模型可以直接引用原始上下文。这在复杂推理、审计追溯、争议问题复盘等场景中很有价值。

压缩摘要的风险在于信息损失。如果摘要只保留结论而丢弃关键条件,模型可能无法准确理解任务边界。例如,用户先前提到“不要修改生产配置”,摘要若只写“用户关注配置变更”,就可能丢失关键约束。因此,压缩方案不能只压缩文本,还应尽量结构化保留关键实体、否定条件、时间范围、权限边界和用户显式指令。

4. 上限触发概率差异

全量注入方案随着会话增长,触发上下文上限的概率通常更高。因为历史记录会持续增长,而系统规则也可能不断扩充。若没有截断或摘要机制,系统很容易从“可用”逐步走向“不稳定”。

压缩摘要方案通过滚动摘要、检索召回和预算裁剪,可以将单次输入控制在相对稳定的范围内。它并不保证永不触发上限,但能把上限管理从被动截断变成主动治理。

5. 延迟表现差异

全量注入的延迟主要取决于输入长度。输入越长,模型预填充阶段耗时通常越高。压缩摘要方案单次输入更短,可能降低单次推理延迟,但会增加前置处理时间,例如摘要生成、检索召回、相关性排序等。整体延迟取决于架构设计。

如果摘要和检索是同步链路,用户可能感知到额外等待;如果采用异步缓存或预热机制,则可降低实时延迟。因此,压缩方案并不是天然更快,而是需要工程优化。

6. 安全合规差异

全量注入更容易把历史敏感信息带入后续请求。例如,早期对话中的个人信息、内部数据、临时凭证或工具返回结果,可能被完整保留到后续上下文中,增加泄露风险。

压缩摘要方案可以通过字段脱敏、权限过滤、最小必要原则降低风险,但也需要防止摘要服务本身成为新的数据集中点。检索增强同样需要严格权限控制,确保召回内容不会超出用户或会话的访问边界。

7. 运维复杂度差异

全量注入的运维重点相对简单:监控请求长度、配置大小、截断策略和报错情况。压缩摘要方案则需要维护更多组件:摘要策略、向量索引或知识检索、缓存、版本管理、权限校验、降级策略、日志追踪等。复杂度更高,但也提供了更细粒度的可观测能力。

8. 调试与可复现性差异

全量注入的调试相对直接,因为每次请求携带的内容较完整,问题更容易复现。压缩摘要方案如果摘要版本、检索召回、上下文裁剪策略不一致,可能导致同样输入产生不同上下文。为此,需要记录摘要版本、召回片段、裁剪日志和请求快照,以便追踪问题。

五、关键差异对比表

对比维度 全量上下文注入 压缩摘要与检索增强
核心思路 尽量把所有相关背景一次传入 按任务需要动态组装最小必要上下文
实现复杂度 较低,主要是拼接逻辑 较高,需要摘要、检索、预算裁剪等模块
固定 token 开销 通常较高,规则和配置反复携带 可通过分层加载降低固定开销
上下文上限风险 随会话和配置增长而上升 可通过预算控制降低,但需防止摘要失真
信息完整性 较高,原始信息保留充分 取决于摘要与检索质量,存在信息损失风险
成本结构 单次输入较长,长期费用可能偏高 输入更精炼,但增加摘要、检索、存储等成本
响应延迟 输入越长越慢 单次输入较短,但前置处理可能增加延迟
安全控制难度 历史敏感信息容易全量带入 需要额外做权限过滤和摘要脱敏
调试难度 较简单,上下文完整 较复杂,需要记录摘要和召回版本
适用场景 短会话、规则简单、任务边界清晰 长会话、知识库较大、多工具协作、成本敏感

六、上下文压缩到底应该压缩什么

很多团队提到“上下文压缩”,第一反应是删除历史对话。但这只是其中一种手段。更合理的做法是把压缩视为一种信息优先级管理。可以按以下顺序处理。

1. 优先压缩系统提示词和配置冗余

如果系统提示词中存在重复表述、示例过多、长段落说明,应优先精简。系统提示词应该尽量短、明确、可执行。对于复杂规范,可以拆分为核心规则和扩展规则,只有相关任务才加载完整内容。

2. 压缩历史对话,而不是简单删除

历史对话可以转换为摘要,但摘要应保留任务状态、关键决策、用户约束、未完成事项和重要实体。例如:

  1. 原始对话:多轮讨论产品命名、价格策略、上线时间
  2. 压缩摘要:用户倾向方案B,要求上线前完成权限评审,暂不接入外部通知渠道

这种摘要比单纯保留最近几句更有价值,因为它保留了任务推进所需的关键状态。

3. 压缩工具调用结果

工具调用可能产生大量结构化或半结构化数据。并不是所有字段都需要进入上下文。可以只保留模型继续推理所需的关键字段,例如状态码、错误信息、关键指标、摘要说明,而把完整结果放入日志或外部存储中按需查询。

4. 压缩长期记忆,但保留可追溯能力

长期记忆不应无边界膨胀。可以按时间、任务、用户、项目等维度组织,并在调用时只加载相关片段。同时应保留原始来源标识,避免摘要无法追溯。

5. 尽量不压缩当前用户输入和显式约束

当前用户输入是任务的核心。除非输入本身超长,否则不应压缩。尤其是否定条件、时间范围、权限要求、格式要求等显式约束,应优先保留。例如“不要使用旧版本”“仅限本周数据”“必须输出 JSON”等内容,不能被摘要弱化。

七、典型场景选择

1. 适合全量注入的场景

全量注入并不是错误方案,它在某些场景中仍然合理:

  • 会话短、轮次少、上下文规模小;
  • 业务规则固定,且规则本身较短;
  • 需要高保真复现问题;
  • 团队初期没有条件建设摘要和检索能力;
  • 任务要求模型直接引用原始对话或原始文档;
  • 输出结果需要审计追溯,且数据规模可控。

这类场景中,全量注入的低复杂度和高保真性反而成为优势。

2. 适合压缩摘要与检索增强的场景

压缩摘要与检索增强更适合以下情况:

  • 会话持续时间长,多轮对话频繁;
  • 系统规则、工具说明、知识库持续增长;
  • 单次请求输入已经接近上限;
  • 调用成本明显受输入 token 影响;
  • 需要跨会话保留任务状态;
  • 需要接入大量企业文档或业务知识;
  • 需要多用户、多权限、多租户隔离;
  • 需要在响应速度与上下文完整性之间做平衡。

这些场景通常不能依赖简单截断,而需要更完整的上下文工程。

八、选型建议

选型不应简单判断“哪个更好”,而应根据业务阶段、成本约束、团队能力和风险容忍度决定。

1. 原型阶段:可先使用全量注入

如果项目处于验证阶段,任务范围较窄,规则较少,可以先使用全量注入快速验证可行性。但建议从第一天就记录 token 使用分布,包括系统提示词、配置内容、历史对话、当前输入和输出,避免后期出现问题时无法定位。

2. 生产环境:建议逐步引入分层治理

如果系统进入生产环境,且用户会话持续增加,建议将上下文拆分为核心层、任务层、检索层和日志层。核心层只放必要规则;任务层放当前任务相关配置;检索层放按需召回的知识;日志层保存完整请求和结果,用于审计与回溯。

3. 成本敏感场景:优先优化固定前缀

如果成本压力主要来自输入 token,可以先检查固定前缀是否过大。很多情况下,系统规则、角色说明、工具文档占据了大量重复输入。优先精简这些部分,往往比单纯减少历史对话更有效。

4. 准确性敏感场景:摘要加原文回查

如果业务对准确性要求较高,不建议完全依赖摘要。可以采用“摘要用于主链路,原文用于回查”的策略。模型先基于摘要生成响应,当涉及关键事实、权限判断、财务数据、合规内容时,再检索原始片段进行校验。

5. 强合规场景:优先最小必要原则

在涉及个人信息、商业机密、内部流程或权限隔离的场景中,应优先保证最小必要原则。上下文中只保留当前任务必需的数据,并对摘要、检索、缓存等环节做权限控制。此时压缩摘要方案更容易落地,但必须配套审计能力。

九、迁移与实施注意事项

如果团队计划从全量注入迁移到压缩摘要与检索增强方案,不能只替换提示词拼接逻辑,还需要关注以下方面。

1. 建立 token 基线

迁移前应统计当前系统的平均输入长度、峰值输入长度、固定配置长度、历史对话长度和输出长度。只有明确基线,才能判断压缩方案是否真的有效,以及压缩后是否影响任务成功率。

2. 设计摘要优先级

摘要不应平均用力。建议优先保留以下内容:

  • 用户显式指令;
  • 关键实体和参数;
  • 时间范围和约束条件;
  • 未完成动作;
  • 已确认结论;
  • 风险点和权限边界。

对于无关闲聊、重复确认、低风险信息,可以降低保留比例。

3. 检索召回必须带权限过滤

检索增强方案不能只考虑“相关性”,还必须考虑“可见性”。召回内容应继承当前用户、当前租户、当前会话的权限边界,避免把其他用户数据、敏感文档或内部资料带入上下文。

4. 摘要版本必须可追溯

每次摘要应记录生成时间、摘要模型或摘要策略版本、输入来源和关键字段。否则当模型输出异常时,团队难以判断问题是来自摘要失真、检索错误还是原始上下文缺失。

5. 设置降级机制

当摘要服务不可用、检索服务延迟过高或预算不足时,系统应有降级策略。例如:

  • 降级为仅保留最近几轮对话;
  • 降级为只保留用户当前输入;
  • 降级为调用预设的最小上下文模板;
  • 降级为提示用户简化问题或重新发起会话。

降级机制可以保证系统在异常情况下仍能可用。

6. 不要忽视兼容性

迁移过程中,历史任务可能依赖旧上下文格式。建议保留原始日志,并在必要时支持上下文回放。对于关键业务,可以采用灰度发布:一部分流量继续全量注入,一部分流量使用压缩摘要,对比任务成功率、响应质量、延迟和成本。

7. 监控指标要覆盖质量和成本

迁移后不能只看 token 是否下降,还要观察任务是否仍然正确。建议监控以下指标:

  • 平均输入 token;
  • 固定前缀 token 占比;
  • 上下文截断次数;
  • 摘要压缩率;
  • 检索召回命中率;
  • 用户追问率;
  • 任务完成率;
  • 错误重试率;
  • 单次会话平均成本;
  • 关键约束遗漏率。

十、示意性实现思路

下面给出一段通用伪代码,仅用于说明上下文组装的基本流程,不涉及任何具体产品或工具:

  1. def build_context(user_input, session):
  2. budget = session.context_window - session.reserve_output_tokens
  3. parts = []
  4. # 1. 最小必要系统规则
  5. parts.append(core_system_rules())
  6. # 2. 按需加载任务角色或规则
  7. if session.task_type_requires_persona():
  8. parts.append(task_specific_rules(session.task_type))
  9. # 3. 加载滚动摘要和任务状态
  10. summary = session.get_rolling_summary()
  11. parts.append(summary)
  12. # 4. 召回与当前问题相关的知识片段
  13. retrieved = session.knowledge_search(
  14. query=user_input,
  15. top_k=4,
  16. acl=session.user_scope()
  17. )
  18. parts.extend(retrieved)
  19. # 5. 加载最近几轮对话
  20. recent_turns = session.get_recent_turns(3)
  21. parts.extend(recent_turns)
  22. # 6. 当前用户输入必须保留
  23. parts.append(user_input)
  24. # 7. 按优先级裁剪,确保不超预算
  25. final_parts = []
  26. used = 0
  27. for part in parts:
  28. part_tokens = estimate_tokens(part)
  29. if used + part_tokens <= budget:
  30. final_parts.append(part)
  31. used += part_tokens
  32. else:
  33. log_context_drop(part)
  34. return assemble_prompt(final_parts)

这段伪代码体现的核心思想是:上下文不是简单堆叠,而是由预算控制、优先级裁剪、检索增强和摘要状态共同组成。

十一、总结

智能体会话中反复出现的上下文上限问题,本质上不是单一模型能力不足,而是上下文资源管理不当。全量上下文注入实现简单、信息保真度高,适合短会话、规则少、任务边界清晰的场景;但随着会话长度、配置规模和知识库体量增加,它容易造成高固定输入成本、上下文膨胀和上限触发。

压缩摘要与检索增强方案通过分层加载、滚动摘要、权限过滤和按需召回,将有限上下文窗口分配给当前任务最重要的信息。它的优势是成本更可控、长会话更稳定、扩展性更强;代价是实现更复杂,需要处理摘要失真、检索权限、版本追踪和降级策略等问题。

因此,合理的选型不是绝对二选一,而是结合阶段与目标做组合治理:初期可以用全量注入快速验证,生产环境则逐步引入预算控制、摘要压缩和检索增强;对准确性要求高的场景,可保留摘要与原文回查双通道;对成本敏感的场景,应优先优化系统提示词和固定配置。最终目标不是让上下文无限增长,也不是简单删除信息,而是让模型在有限预算内获得足够、准确、可信任的任务上下文。

发表评论

活动