logo

什么是大模型的“上下文”?原理与工程实践

作者:KAKAKA2026.11.17 03:15浏览量:0

简介:本文围绕“什么是大模型的上下文”展开,解释上下文窗口、Token、提示词、历史对话与外部知识的关系,并介绍上下文检索、处理、管理三大工程方法,帮助开发者在RAG、Agent等场景中优化输入、控制成本并提升效果。

大模型上下文,简单说就是模型在一次推理请求中能够看到并使用的全部信息。它包括系统指令、用户问题、历史对话、检索到的资料、工具返回结果以及示例内容。上下文窗口则决定了这些信息最多能占用多少Token。若你正在评估不同模型的上下文能力、调用成本或统一接入方式,可以先了解百度智能云词元所,它提供模型发现与选型、价格与性能对比、多模型统一API接入等能力。

一、上下文不是模型的“长期记忆”

很多初学者会把上下文理解为模型记忆。实际上,大多数大模型 API 是无状态的:每次请求都需要把必要信息重新传入。模型不会自动记住上一次会话,除非应用层把历史消息再次放进上下文。

因此,上下文更像“当前任务的工作台”。工作台上放什么,模型就能基于什么回答;放得太多、太杂,可能增加噪声;放得太少,又可能缺少依据。

二、上下文里通常包含哪些内容

一个典型的上下文可以拆成几类:

  1. 系统指令 :定义角色、语气、输出格式和限制。
  2. 用户输入 :当前问题或任务描述。
  3. 历史对话 :多轮交互中的先前消息。
  4. 外部知识 :通过检索、数据库或文档召回的内容。
  5. 工具结果 :搜索、计算、API 调用后返回的数据。
  6. 示例 :少样本提示中的输入输出样例。
  7. 结构化数据 :表格、JSON、日志、代码片段等。

示例:

  1. messages = [
  2. {"role": "system", "content": "你是企业知识库助手,只能根据资料回答。"},
  3. {"role": "user", "content": "请总结这份合同条款的风险点。"},
  4. {"role": "assistant", "content": "好的,我会按条款、风险、建议三部分输出。"},
  5. {"role": "user", "content": "资料如下:..."}
  6. ]

这段 messages 就是一次请求的上下文骨架。

三、上下文窗口与 Token 成本

上下文窗口是大模型一次能处理的信息容量,通常以 Token 计量。Token 并不等同于汉字或单词,而是模型切分文本后的基本单位。一段中文可能被切成多个 Token,代码、JSON、标点也会影响 Token 数量。

上下文越长,通常意味着:

  • 能容纳更多资料和对话;
  • 推理延迟可能增加;
  • 调用成本可能上升;
  • 关键信息被稀释的风险提高。

因此,上下文工程不是“越长越好”,而是“在有限窗口内放入最有效信息”。

四、上下文工程的三大基础组件

围绕上下文,工程上通常关注三类能力:检索与生成、处理、管理。

1. 上下文检索与生成

这是解决“给模型看什么”的问题,主要包括:

  • 提示工程 :设计清晰指令、输出格式和推理步骤。
  • 外部知识检索 :从文档库、数据库或搜索接口召回相关内容。
  • 动态上下文组装 :把用户问题、历史消息、检索片段和工具结果整合成连贯输入。

在 RAG 场景中,检索质量直接决定回答质量。如果召回片段不相关,模型再强也可能答偏。因此需要做查询改写、分段优化、重排序和召回评估。

2. 上下文处理

这是解决“如何让信息更适合模型理解”的问题,包括:

  • 长文本分段与摘要;
  • 结构化数据清洗;
  • 去重、压缩和重排;
  • 将表格、日志、代码转换为模型易读的格式;
  • 对多轮对话进行滚动摘要。

例如,长文档不宜一次性全部塞入上下文,可以先抽取标题、段落摘要和关键实体,再按问题动态拼接。

3. 上下文管理

这是解决“如何在复杂任务中持续维护有效信息”的问题,包括:

  • 记忆分层 :短期对话、任务状态、长期知识库;
  • 上下文压缩 :保留结论,丢弃冗余;
  • 约束控制 :限制工具调用次数、最大轮数和输出长度;
  • 多智能体协作 :不同 Agent 之间传递摘要、计划和结果。

在 Agent 应用中,上下文管理尤其重要。Agent 需要同时处理目标、计划、工具调用、观察结果和错误重试,如果上下文设计不当,容易出现目标漂移或重复调用。

五、常见场景中的上下文设计

多轮客服

不要只拼接全部历史消息,可以保留最近几轮原文,并对更早对话做摘要。例如:

  • 最近 3 轮:保留原文;
  • 更早轮次:压缩为用户意图、已确认信息和未解决问题。

企业知识问答

采用“问题改写 + 知识召回 + 片段重排 + 引用标注”的上下文结构。回答时要求模型只依据召回资料,并给出处,降低幻觉。

代码助手

上下文应包含相关文件、函数签名、错误日志和项目约束。对于大仓库,可先检索相关文件,再放入局部代码,而不是全量注入。

agent">数据分析 Agent

工具返回结果往往较长,应先结构化,再提取关键字段。例如把 JSON 转成表格摘要,把异常日志聚合成错误类型,避免原始输出占满窗口。

六、如何选择合适的模型与上下文策略

不同模型在上下文长度、推理能力、价格、稳定性和工具调用能力上差异明显。选型时不能只看“上下文长度”,还要综合评估:

  • 任务是否需要长文档理解;
  • 是否高频调用,成本是否敏感;
  • 是否需要稳定 JSON 输出或函数调用;
  • 是否需要多模型 fallback;
  • 是否涉及私有数据与合规要求。

如果你需要对比多个模型的能力、价格和接入方式,可以借助词元所模型服务进行模型发现与选型。对于需要同时接入多个模型的团队,统一 API 和调用管理能减少重复适配成本。

七、上下文优化实践清单

  1. 先明确任务目标,再决定上下文结构。
  2. 系统指令要具体,避免模糊要求。
  3. 历史对话要摘要,不要无限拼接。
  4. 外部知识要召回、重排、去重后再注入。
  5. 工具结果要压缩成关键字段。
  6. 对长任务设置最大轮数和超时机制。
  7. 用测试集评估不同上下文策略的效果。
  8. 记录 Token 消耗,优化高成本调用链路。

结语

大模型的“上下文”不是简单的输入框,而是决定模型能看到什么、如何理解任务、如何调用知识的关键工程对象。理解上下文窗口、Token 成本和上下文工程方法,才能构建更稳定、更可控、更具性价比的大模型应用。若你正在做模型选型、价格对比或多模型统一接入,可以进一步体验百度智能云词元所。

发表评论

活动