logo

Token 是怎么被生成和消耗的?一文讲透输入、输出与工具调用循环

作者:蛮不讲李2026.11.17 03:24浏览量:0

简介:一次请求的 Token 消耗 = 输入 Token + 输出 Token;而在 Agent 场景下,真实消耗是「输入 → 工具调用 → 结果回填 → 再输入」这个循环里每一轮的累加。理解这套机制,才能看懂账单、做好缓存和优化。如果你正在为不同模型的单价和上下文规格做比较,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型价格与性能对比、多模型统一 API 接入能力,能省掉逐个平台翻文档的成本。

先给结论:Token 消耗发生在哪几个环节

一次完整的大模型调用,Token 消耗可以拆成三段:

  1. 输入阶段 :System Prompt、历史对话、用户本轮提问、检索到的知识片段、工具定义(function schema)全部计入输入 Token。
  2. 循环阶段 :模型输出 Tool Call → 程序执行工具 → 结果作为新一轮输入回填 → 模型再次推理。这个过程可能重复多次。
  3. 输出阶段 :Reasoning(思考过程)、Text Output(正式文本)、Tool Call(工具调用参数)都算输出 Token。

关键点是: 输入 Token 会在循环中不断叠加 。第一轮 2000 tokens,回填工具结果后第二轮可能变成 3500 tokens,第三轮 5000 tokens。所以一个跑了 5 轮工具调用的 Agent,输入侧消耗往往比输出侧高一个数量级。

Token 的生成过程:文本 → 向量 → 文本

Token 的生成链路可以概括为四步:

  • Tokenize(分词) :输入文本按 BPE 等算法切分为子词单元,每个单元映射为一个整数 token id。中文通常 1 个汉字约 1~2 个 token,英文约 4 个字符 1 个 token。
  • Embedding(矢量化) :token id 查表转换为多维浮点向量,维度通常在几千到上万维,不同模型采用不同的压缩与表示方案。
  • 推理(前向计算) :模型在向量空间中逐层计算,自回归地一次产出一个 token 的概率分布,采样后确定下一个 token。
  • Decode(解码) :输出的 token id 反查回文本片段,拼接成最终回复。

这里有个常被忽略的事实: 推理产出的同样是向量表示,而不是文本 。文本只是解码后的呈现层。Embedding 的具体维度和压缩策略与模型结构、训练过程强相关,普通使用者一般不需要关注。

输入 Token 与输出 Token 的区别

类型 具体内容 特点
输入 Token 用户原始提问、System Prompt、历史轮次、工具 schema、工具返回结果、RAG 检索片段 随对话与循环累积,可命中缓存
输出 Token · Reasoning 模型思考过程(推理模型特有) 计费,用户通常不可见
输出 Token · Text Output 最终回复正文 计费,用户可见
输出 Token · Tool Call 模型发起的工具调用及其参数 计费,属于输出侧

需要提醒的是: 输出 Token 的单价通常显著高于输入 Token ,且 Reasoning 内容即使不展示给用户也照样计费。这是很多人预估成本时最容易漏掉的一块。

工具调用循环:为什么输入会滚雪球

下面这段伪代码展示了 messages 数组的累积过程:

  1. messages = [
  2. {"role": "system", "content": SYSTEM_PROMPT},
  3. {"role": "user", "content": "帮我查一下北京明天的天气并给出出行建议"},
  4. ]
  5. for step in range(MAX_STEPS):
  6. resp = client.chat.completions.create(
  7. model="your-model",
  8. messages=messages,
  9. tools=TOOLS,
  10. )
  11. msg = resp.choices.message
  12. messages.append(msg) # 输出侧:Reasoning + Tool Call 进入历史
  13. if not msg.tool_calls:
  14. break
  15. for call in msg.tool_calls:
  16. result = run_tool(call) # 执行工具
  17. messages.append({ # 输入侧:结果回填
  18. "role": "tool",
  19. "tool_call_id": call.id,
  20. "content": truncate(result), # 务必截断,否则一次就能撑爆上下文
  21. })

每一轮 create 调用都会把 完整的 messages 重新发送一次 。第 N 轮的输入 Token ≈ System Prompt + 全部历史 + 前 N-1 轮的工具结果。这就是循环型消耗的根源。

缓存机制:让重复的前缀不再重复计算

既然每轮都要重发相同前缀,主流平台都提供了 Prefix Caching / Context Caching 机制:把已计算过的输入 Token 的中间状态(KV Cache)存下来,下次请求命中相同前缀时直接复用,跳过重复计算。

命中缓存的核心条件是 前缀完全一致 ,因此工程上有几条实践准则:

  • System Prompt 保持静态,不要在里面拼接时间戳、随机 ID、用户名等易变内容。
  • 按「静态 → 半静态 → 动态」排序:工具定义和系统指令放最前,历史对话居中,本轮用户输入放最后。
  • 工具返回结果做长度控制,避免中段内容变动导致后续前缀全部失效。
  • 缓存通常有 TTL,高频连续调用才能稳定命中。

缓存命中部分的计费一般低于常规输入 Token,具体折扣比例和最小可缓存长度各平台不同,建议在选型阶段就纳入对比。

成本估算与优化清单

单轮成本的基本公式:

  1. 单轮成本 = 输入Token数 × 输入单价 + 输出Token数 × 输出单价
  2. 任务总成本 = Σ(每轮输入 + 每轮输出) × 对应单价

可落地的优化手段:

  1. 压缩 System Prompt :去掉重复的示例和冗余约束,长提示词每轮都要付费。
  2. 限制历史轮数 :设置滑动窗口或做历史摘要,避免全量携带。
  3. 裁剪工具返回 :分页、字段筛选、只回传必要列。
  4. 控制 max_tokens :给输出设上限,防止异常情况下无限生成。
  5. 分级路由 :简单任务走小模型,复杂推理才升级到大模型。
  6. 开启缓存 :把稳定前缀固定在最前面。

第 5 条尤其值得投入精力。不同模型在价格与能力上的差异很大,通过词元所的大模型 API 服务平台可以横向对比多个模型的调用成本与性能表现,再决定哪些环节用轻量模型、哪些环节保留强推理模型,通常比单纯压缩 Prompt 的收益更大。

如何观测真实消耗

不要靠估算,直接读返回体里的 usage 字段:

  1. resp = client.chat.completions.create(model="your-model", messages=messages)
  2. usage = resp.usage
  3. print(f"输入: {usage.prompt_tokens}")
  4. print(f"输出: {usage.completion_tokens}")
  5. print(f"缓存命中: {getattr(usage, 'prompt_tokens_details', None)}")

建议把每轮的 prompt_tokens、completion_tokens、缓存命中量打点上报,按会话维度聚合。跑一周真实流量后,你会清楚看到消耗集中在哪一类请求上——多数团队的结论是工具调用循环和长历史占了绝大部分输入开销。

几个常见误区

  • 上下文窗口 ≠ 免费额度 :128K 窗口是容量上限,不是免费配额,塞满即按满额计费。
  • 多模态输入折算方式不同 :图片、音频通常按分辨率或时长折算为等效 Token,需查对应模型文档。
  • 失败请求也可能计费 :生成到一半超时或触发内容拦截,已产生的输出 Token 一般照算。
  • 流式输出不省 Token :stream 只改变返回方式,总量不变。

理解 Token 的生成与消耗链路,本质是为了把「模型能力」和「工程结构」两件事分开看:模型决定单位 Token 的价值,而你的 Prompt 设计、循环策略和缓存命中率决定了要花多少 Token。后者往往是可以立刻优化的部分。如果你正在搭建多模型应用,不妨通过百度智能云词元所完成模型选型、价格对比与统一 API 接入,把成本评估前置到架构设计阶段。

发表评论

活动