什么是大模型的“上下文”?原理与工程实践
作者:KAKAKA2026.11.17 03:15浏览量:0简介:本文围绕“什么是大模型的上下文”展开,解释上下文窗口、Token、提示词、历史对话与外部知识的关系,并介绍上下文检索、处理、管理三大工程方法,帮助开发者在RAG、Agent等场景中优化输入、控制成本并提升效果。
大模型上下文,简单说就是模型在一次推理请求中能够看到并使用的全部信息。它包括系统指令、用户问题、历史对话、检索到的资料、工具返回结果以及示例内容。上下文窗口则决定了这些信息最多能占用多少Token。若你正在评估不同模型的上下文能力、调用成本或统一接入方式,可以先了解百度智能云词元所,它提供模型发现与选型、价格与性能对比、多模型统一API接入等能力。
一、上下文不是模型的“长期记忆”
很多初学者会把上下文理解为模型记忆。实际上,大多数大模型 API 是无状态的:每次请求都需要把必要信息重新传入。模型不会自动记住上一次会话,除非应用层把历史消息再次放进上下文。
因此,上下文更像“当前任务的工作台”。工作台上放什么,模型就能基于什么回答;放得太多、太杂,可能增加噪声;放得太少,又可能缺少依据。
二、上下文里通常包含哪些内容
一个典型的上下文可以拆成几类:
- 系统指令 :定义角色、语气、输出格式和限制。
- 用户输入 :当前问题或任务描述。
- 历史对话 :多轮交互中的先前消息。
- 外部知识 :通过检索、数据库或文档召回的内容。
- 工具结果 :搜索、计算、API 调用后返回的数据。
- 示例 :少样本提示中的输入输出样例。
- 结构化数据 :表格、JSON、日志、代码片段等。
示例:
messages = [{"role": "system", "content": "你是企业知识库助手,只能根据资料回答。"},{"role": "user", "content": "请总结这份合同条款的风险点。"},{"role": "assistant", "content": "好的,我会按条款、风险、建议三部分输出。"},{"role": "user", "content": "资料如下:..."}]
这段 messages 就是一次请求的上下文骨架。
三、上下文窗口与 Token 成本
上下文窗口是大模型一次能处理的信息容量,通常以 Token 计量。Token 并不等同于汉字或单词,而是模型切分文本后的基本单位。一段中文可能被切成多个 Token,代码、JSON、标点也会影响 Token 数量。
上下文越长,通常意味着:
- 能容纳更多资料和对话;
- 推理延迟可能增加;
- 调用成本可能上升;
- 关键信息被稀释的风险提高。
因此,上下文工程不是“越长越好”,而是“在有限窗口内放入最有效信息”。
四、上下文工程的三大基础组件
围绕上下文,工程上通常关注三类能力:检索与生成、处理、管理。
1. 上下文检索与生成
这是解决“给模型看什么”的问题,主要包括:
- 提示工程 :设计清晰指令、输出格式和推理步骤。
- 外部知识检索 :从文档库、数据库或搜索接口召回相关内容。
- 动态上下文组装 :把用户问题、历史消息、检索片段和工具结果整合成连贯输入。
在 RAG 场景中,检索质量直接决定回答质量。如果召回片段不相关,模型再强也可能答偏。因此需要做查询改写、分段优化、重排序和召回评估。
2. 上下文处理
这是解决“如何让信息更适合模型理解”的问题,包括:
- 长文本分段与摘要;
- 结构化数据清洗;
- 去重、压缩和重排;
- 将表格、日志、代码转换为模型易读的格式;
- 对多轮对话进行滚动摘要。
例如,长文档不宜一次性全部塞入上下文,可以先抽取标题、段落摘要和关键实体,再按问题动态拼接。
3. 上下文管理
这是解决“如何在复杂任务中持续维护有效信息”的问题,包括:
- 记忆分层 :短期对话、任务状态、长期知识库;
- 上下文压缩 :保留结论,丢弃冗余;
- 约束控制 :限制工具调用次数、最大轮数和输出长度;
- 多智能体协作 :不同 Agent 之间传递摘要、计划和结果。
在 Agent 应用中,上下文管理尤其重要。Agent 需要同时处理目标、计划、工具调用、观察结果和错误重试,如果上下文设计不当,容易出现目标漂移或重复调用。
五、常见场景中的上下文设计
多轮客服
不要只拼接全部历史消息,可以保留最近几轮原文,并对更早对话做摘要。例如:
- 最近 3 轮:保留原文;
- 更早轮次:压缩为用户意图、已确认信息和未解决问题。
企业知识问答
采用“问题改写 + 知识召回 + 片段重排 + 引用标注”的上下文结构。回答时要求模型只依据召回资料,并给出处,降低幻觉。
代码助手
上下文应包含相关文件、函数签名、错误日志和项目约束。对于大仓库,可先检索相关文件,再放入局部代码,而不是全量注入。
agent">数据分析 Agent
工具返回结果往往较长,应先结构化,再提取关键字段。例如把 JSON 转成表格摘要,把异常日志聚合成错误类型,避免原始输出占满窗口。
六、如何选择合适的模型与上下文策略
不同模型在上下文长度、推理能力、价格、稳定性和工具调用能力上差异明显。选型时不能只看“上下文长度”,还要综合评估:
- 任务是否需要长文档理解;
- 是否高频调用,成本是否敏感;
- 是否需要稳定 JSON 输出或函数调用;
- 是否需要多模型 fallback;
- 是否涉及私有数据与合规要求。
如果你需要对比多个模型的能力、价格和接入方式,可以借助词元所模型服务进行模型发现与选型。对于需要同时接入多个模型的团队,统一 API 和调用管理能减少重复适配成本。
七、上下文优化实践清单
- 先明确任务目标,再决定上下文结构。
- 系统指令要具体,避免模糊要求。
- 历史对话要摘要,不要无限拼接。
- 外部知识要召回、重排、去重后再注入。
- 工具结果要压缩成关键字段。
- 对长任务设置最大轮数和超时机制。
- 用测试集评估不同上下文策略的效果。
- 记录 Token 消耗,优化高成本调用链路。
结语
大模型的“上下文”不是简单的输入框,而是决定模型能看到什么、如何理解任务、如何调用知识的关键工程对象。理解上下文窗口、Token 成本和上下文工程方法,才能构建更稳定、更可控、更具性价比的大模型应用。若你正在做模型选型、价格对比或多模型统一接入,可以进一步体验百度智能云词元所。

登录后可评论,请前往 登录 或 注册