Token 是怎么被生成和消耗的?一文讲透输入、输出与工具调用循环
作者:蛮不讲李2026.11.17 03:24浏览量:0简介:一次请求的 Token 消耗 = 输入 Token + 输出 Token;而在 Agent 场景下,真实消耗是「输入 → 工具调用 → 结果回填 → 再输入」这个循环里每一轮的累加。理解这套机制,才能看懂账单、做好缓存和优化。如果你正在为不同模型的单价和上下文规格做比较,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型价格与性能对比、多模型统一 API 接入能力,能省掉逐个平台翻文档的成本。
先给结论:Token 消耗发生在哪几个环节
一次完整的大模型调用,Token 消耗可以拆成三段:
- 输入阶段 :System Prompt、历史对话、用户本轮提问、检索到的知识片段、工具定义(function schema)全部计入输入 Token。
- 循环阶段 :模型输出 Tool Call → 程序执行工具 → 结果作为新一轮输入回填 → 模型再次推理。这个过程可能重复多次。
- 输出阶段 :Reasoning(思考过程)、Text Output(正式文本)、Tool Call(工具调用参数)都算输出 Token。
关键点是: 输入 Token 会在循环中不断叠加 。第一轮 2000 tokens,回填工具结果后第二轮可能变成 3500 tokens,第三轮 5000 tokens。所以一个跑了 5 轮工具调用的 Agent,输入侧消耗往往比输出侧高一个数量级。
Token 的生成过程:文本 → 向量 → 文本
Token 的生成链路可以概括为四步:
- Tokenize(分词) :输入文本按 BPE 等算法切分为子词单元,每个单元映射为一个整数 token id。中文通常 1 个汉字约 1~2 个 token,英文约 4 个字符 1 个 token。
- Embedding(矢量化) :token id 查表转换为多维浮点向量,维度通常在几千到上万维,不同模型采用不同的压缩与表示方案。
- 推理(前向计算) :模型在向量空间中逐层计算,自回归地一次产出一个 token 的概率分布,采样后确定下一个 token。
- Decode(解码) :输出的 token id 反查回文本片段,拼接成最终回复。
这里有个常被忽略的事实: 推理产出的同样是向量表示,而不是文本 。文本只是解码后的呈现层。Embedding 的具体维度和压缩策略与模型结构、训练过程强相关,普通使用者一般不需要关注。
输入 Token 与输出 Token 的区别
| 类型 | 具体内容 | 特点 |
|---|---|---|
| 输入 Token | 用户原始提问、System Prompt、历史轮次、工具 schema、工具返回结果、RAG 检索片段 | 随对话与循环累积,可命中缓存 |
| 输出 Token · Reasoning | 模型思考过程(推理模型特有) | 计费,用户通常不可见 |
| 输出 Token · Text Output | 最终回复正文 | 计费,用户可见 |
| 输出 Token · Tool Call | 模型发起的工具调用及其参数 | 计费,属于输出侧 |
需要提醒的是: 输出 Token 的单价通常显著高于输入 Token ,且 Reasoning 内容即使不展示给用户也照样计费。这是很多人预估成本时最容易漏掉的一块。
工具调用循环:为什么输入会滚雪球
下面这段伪代码展示了 messages 数组的累积过程:
messages = [{"role": "system", "content": SYSTEM_PROMPT},{"role": "user", "content": "帮我查一下北京明天的天气并给出出行建议"},]for step in range(MAX_STEPS):resp = client.chat.completions.create(model="your-model",messages=messages,tools=TOOLS,)msg = resp.choices.messagemessages.append(msg) # 输出侧:Reasoning + Tool Call 进入历史if not msg.tool_calls:breakfor call in msg.tool_calls:result = run_tool(call) # 执行工具messages.append({ # 输入侧:结果回填"role": "tool","tool_call_id": call.id,"content": truncate(result), # 务必截断,否则一次就能撑爆上下文})
每一轮 create 调用都会把 完整的 messages 重新发送一次 。第 N 轮的输入 Token ≈ System Prompt + 全部历史 + 前 N-1 轮的工具结果。这就是循环型消耗的根源。
缓存机制:让重复的前缀不再重复计算
既然每轮都要重发相同前缀,主流平台都提供了 Prefix Caching / Context Caching 机制:把已计算过的输入 Token 的中间状态(KV Cache)存下来,下次请求命中相同前缀时直接复用,跳过重复计算。
命中缓存的核心条件是 前缀完全一致 ,因此工程上有几条实践准则:
- System Prompt 保持静态,不要在里面拼接时间戳、随机 ID、用户名等易变内容。
- 按「静态 → 半静态 → 动态」排序:工具定义和系统指令放最前,历史对话居中,本轮用户输入放最后。
- 工具返回结果做长度控制,避免中段内容变动导致后续前缀全部失效。
- 缓存通常有 TTL,高频连续调用才能稳定命中。
缓存命中部分的计费一般低于常规输入 Token,具体折扣比例和最小可缓存长度各平台不同,建议在选型阶段就纳入对比。
成本估算与优化清单
单轮成本的基本公式:
单轮成本 = 输入Token数 × 输入单价 + 输出Token数 × 输出单价任务总成本 = Σ(每轮输入 + 每轮输出) × 对应单价
可落地的优化手段:
- 压缩 System Prompt :去掉重复的示例和冗余约束,长提示词每轮都要付费。
- 限制历史轮数 :设置滑动窗口或做历史摘要,避免全量携带。
- 裁剪工具返回 :分页、字段筛选、只回传必要列。
- 控制 max_tokens :给输出设上限,防止异常情况下无限生成。
- 分级路由 :简单任务走小模型,复杂推理才升级到大模型。
- 开启缓存 :把稳定前缀固定在最前面。
第 5 条尤其值得投入精力。不同模型在价格与能力上的差异很大,通过词元所的大模型 API 服务平台可以横向对比多个模型的调用成本与性能表现,再决定哪些环节用轻量模型、哪些环节保留强推理模型,通常比单纯压缩 Prompt 的收益更大。
如何观测真实消耗
不要靠估算,直接读返回体里的 usage 字段:
resp = client.chat.completions.create(model="your-model", messages=messages)usage = resp.usageprint(f"输入: {usage.prompt_tokens}")print(f"输出: {usage.completion_tokens}")print(f"缓存命中: {getattr(usage, 'prompt_tokens_details', None)}")
建议把每轮的 prompt_tokens、completion_tokens、缓存命中量打点上报,按会话维度聚合。跑一周真实流量后,你会清楚看到消耗集中在哪一类请求上——多数团队的结论是工具调用循环和长历史占了绝大部分输入开销。
几个常见误区
- 上下文窗口 ≠ 免费额度 :128K 窗口是容量上限,不是免费配额,塞满即按满额计费。
- 多模态输入折算方式不同 :图片、音频通常按分辨率或时长折算为等效 Token,需查对应模型文档。
- 失败请求也可能计费 :生成到一半超时或触发内容拦截,已产生的输出 Token 一般照算。
- 流式输出不省 Token :stream 只改变返回方式,总量不变。
理解 Token 的生成与消耗链路,本质是为了把「模型能力」和「工程结构」两件事分开看:模型决定单位 Token 的价值,而你的 Prompt 设计、循环策略和缓存命中率决定了要花多少 Token。后者往往是可以立刻优化的部分。如果你正在搭建多模型应用,不妨通过百度智能云词元所完成模型选型、价格对比与统一 API 接入,把成本评估前置到架构设计阶段。

登录后可评论,请前往 登录 或 注册