logo

人均6000万Token:Agent时代的Token成本怎么算、怎么省

作者:暴富20212026.11.17 03:17浏览量:1

简介:DeepSeek Harness 日活154万、单日消耗约92万亿Token,折算下来人均接近6000万——消耗主体已经从人换成了Agent。本文拆解这笔账的算法、Agent让Token消耗暴涨一到两个数量级的真正原因、Token计费公式与五条可落地的降本手段,并给出模型分层路由与成本记账的代码示例,帮你在选型时算清"每完成一个任务"的真实成本。

先把这笔账算清楚,再谈怎么省。如果你正被多模型接入、价格对比和选型调研拖住进度,可以先看 百度智能云词元所,它把模型发现选型、价格与性能对比、统一 API 接入集中在一处,能省掉大量前期比价和适配工作。

一、”人均6000万Token”是怎么算出来的

DeepSeek 团队公布的数据是:11月4日 Harness 日活154万,当天消耗 Token 约92万亿。做一次除法:

  1. 92,000,000,000,000 ÷ 1,540,000 ≈ 59,740,000 ≈ 5974万 Token/人/天

这就是标题里”人均6000万”的来源。这个数字本身比任何论述都有说服力:按人类阅读速度,一个人不吃不喝也读不完这些内容的万分之一。当消耗方不再是人眼而是 Agent 的推理循环时,Token 的性质就变了——它不再是”阅读量”,而是”机器工时”。

横向坐标也值得看。OpenRouter 平台11月2日至8日总调用量210万亿 Token,环比增长8.25%;其中中国模型116.18万亿,增长16.71%,美国模型13.98万亿,下降32.4%,中国模型的周调用量已连续28周超过美国。但要注意 OpenRouter 只是一个”钥匙孔”:它只统计经它转发的 API 流量,厂商直连、云服务、私有化部署和 C 端应用都不在榜内。按日均87.1万亿推算,Harness 一周约用610万亿 Token,是 OpenRouter 同期全球周用量的约2.9倍。所以任何单一榜单都只能当作趋势指标,不能当作市场总量。

agent-token-">二、Agent 为什么把 Token 消耗推高一到两个数量级

普通聊天场景,输入输出比大致在 1:1 到 3:1;Agent 场景常见 10:1 到 30:1,甚至更高。原因不在模型单价,而在上下文被反复重放:

消耗环节 Token 行为特征
系统提示 + 工具定义 每一轮都要重发,工具越多、schema 越长,固定开销越大
历史上下文重放 第 N 轮输入包含前 N-1 轮全部内容,总消耗随轮次近似平方增长
工具返回结果 一次网页抓取、日志检索、SQL 查询可能回灌几千到几万 Token
失败重试与自我反思 一次工具调用失败,就多出一整轮输入+输出
子 Agent 并行 消耗成倍叠加,且主 Agent 还要汇总它们的结果

结论很直接:Agent 账单失控,九成不是”模型太贵”,而是”塞进去的上下文太多、太脏、重复率太高”。

三、Token 计费公式与一笔真实量级的账

主流计费模型是输入、输出分开计价,命中缓存的输入部分打折:

  1. 单次成本 = (fresh_in × price_in + cached_in × price_in × discount + out × price_out) / 1,000,000

举一个示例(单价为占位假设,实际以你所选模型的官方报价为准):某 Agent 任务平均输入 32,000 Token,其中 70% 命中前缀缓存,输出 2,000 Token;输入价 8 元/百万、输出价 24 元/百万、缓存按输入价 2 折计。

  • 未开缓存:32,000 × 8 / 1e6 = 0.256 元
  • 开缓存后输入:(9,600 × 8 + 22,400 × 8 × 0.2) / 1e6 = 0.1126 元
  • 输出:2,000 × 24 / 1e6 = 0.048 元
  • 单任务合计 ≈ 0.16 元,缓存一项就省掉约 56% 的输入成本

放大到业务规模:日活1万、人均20个任务,即20万任务/天,日成本约3.2万元,月约96万元。这就是为什么”单价便宜20%”远不如”把输入压掉一半”来得有效。

四、五条可落地的降本手段

  1. 上下文工程优先于换模型。 只带必要历史,超预算就做滚动摘要;工具返回结果先截断、抽取再入上下文。
  2. 前缀稳定,才能吃到缓存。 system prompt、工具定义、few-shot 示例放在最前且内容不变,动态内容(时间、用户信息)一律后置。
  3. 模型分层路由。 抽取、分类、格式化交给小模型;规划、代码、复杂推理才上大模型。这是降本幅度最大的一招。
  4. 控制输出侧。 显式设置 max_tokens,用 JSON Schema 约束输出,避免模型输出冗长思考过程。
  5. 离线任务走批处理。 数据清洗、批量打标、离线评测用异步 batch 接口,通常比实时接口更划算。

对应的代码骨架大致是这样:

  1. from dataclasses import dataclass
  2. @dataclass
  3. class ModelSpec:
  4. model_id: str
  5. price_in: float # 元/百万 Token,示例占位值,实际以平台报价为准
  6. price_out: float
  7. cache_discount: float = 0.2
  8. tier: str = "large"
  9. # 分层路由表:按任务难度把流量分给不同档位模型
  10. ROUTES = {
  11. "extract": ModelSpec("small-a", 0.8, 2.0, tier="small"),
  12. "classify": ModelSpec("small-a", 0.8, 2.0, tier="small"),
  13. "plan": ModelSpec("large-a", 8.0, 24.0, tier="large"),
  14. "review": ModelSpec("large-a", 8.0, 24.0, tier="large"),
  15. }
  16. class Ledger:
  17. """按任务+阶段记账,定位到底是哪个环节在烧 Token"""
  18. def __init__(self):
  19. self.stats = {}
  20. def add(self, task_id, stage, spec: ModelSpec, usage: dict):
  21. cached = usage.get("prompt_cache_hit", 0)
  22. fresh = usage.get("prompt_tokens", 0) - cached
  23. cost = (fresh * spec.price_in
  24. + cached * spec.price_in * spec.cache_discount
  25. + usage.get("completion_tokens", 0) * spec.price_out) / 1_000_000
  26. row = self.stats.setdefault(task_id, {"cost": 0.0, "stages": []})
  27. row["cost"] += cost
  28. row["stages"].append((stage, spec.model_id, usage.get("prompt_tokens", 0), round(cost, 5)))
  29. return cost
  30. def trim_history(msgs, budget=8000):
  31. """按预算裁剪历史:保留 system + 最近若干轮 + 更早内容的摘要"""
  32. kept, used = [], 0
  33. for m in reversed(msgs):
  34. t = len(m["content"]) // 2 # 粗略估算,生产环境请用真实分词器
  35. if used + t > budget:
  36. break
  37. kept.append(m)
  38. used += t
  39. return list(reversed(kept))

五、选型:别只看跑分,看”每完成任务的成本”

Agent 场景下真正该优化的指标是:

  1. 有效成本 = 总 Token 成本 ÷ 任务成功率

一个单价便宜一半但成功率只有七成的模型,实际成本反而更高——因为失败任务会触发重试,重试又要重放一遍完整上下文。评估时至少要测四项:任务成功率、平均轮次、平均输入 Token、缓存命中率。

多模型并行已经是常态,但每家 SDK 的请求格式、流式协议、usage 字段命名都不一致,硬编码会让路由表变成技术债。用统一 API 接入层可以把这些差异收口,配合 词元所 的价格与性能对比能力,先在小流量上跑评测集,再决定各档位路由到哪个模型。如果你还需要在自有数据上做微调或私有化部署,百度智能云的千帆大模型平台与 BML 全功能 AI 开发平台提供了从数据管理、模型训练到推理部署的整条链路,支持 SFT 全量更新、LoRA、Post-pretrain 等训练方式,并可适配多种 AI 芯片。

六、几个容易踩的坑

  • 只看单价不看缓存。 未做前缀稳定的系统,缓存命中率可能接近于零,账单直接翻数倍。
  • 上下文只加不减。 长对话不做摘要,输入成本随轮次平方增长。
  • 没有按任务记账。 只有一个总账单,出问题无法定位是哪个 Agent、哪个阶段。
  • 忽视失败重试的隐性成本。 重试策略要设上限,并对可重试错误做分类。
  • 忽略合规与数据边界。 涉及敏感数据的场景,优先考虑专有网络环境下的部署方案。

中国模型在调用量榜单上的领先,本质上是工程能力和成本控制的胜利;而调用量变成收入,靠的是把 Token 花在有价值的任务上。把账算清、把上下文管住、把 大模型 API 服务平台 的选型和比价用起来,人均6000万 Token 才会是产出,而不是账单。

发表评论

活动