logo

大模型推理成本拆解:Token吞吐与单位成本治理

作者:问答酱2026.11.18 11:59浏览量:0

简介:本文以大模型推理服务为对象,拆解“每百万Token成本”的构成与影响因素,说明吞吐提升为何不等于成本等比下降,并给出单位经济模型、评估流程、优化清单与风险控制边界。读者可据此建立可复用的成本估算口径、预算阈值与归因方法,判断自身推理账单的主要成本来源,以及哪些优化动作真正可持续。

一、成本概述:本文分析的是什么成本

本文讨论的成本对象是大模型推理(Token 生成)成本,也就是“为产出一定数量、且质量达标的有效 Token 所付出的资源与运维代价”。它不是一次性的软件采购成本,而是随请求量、上下文长度、并发峰值持续发生的运行成本。

很多团队在讨论推理性能时会关注“每秒能出多少 Token”,例如某类参数规模约 270 亿级的模型,通过引入“草稿式推测解码”(先用小模型猜出若干候选 Token,再由主模型一次并行校验,猜中即全部采纳,猜错则从分歧点重算)把单请求生成速度从每秒约 40 个 Token 提升到接近每秒 120 个 Token。这个数据来自单一样本、特定输入分布下的观测,不能直接当作通用基准;更关键的是,吞吐是性能指标,成本是资源×时长×单价,两者通过“有效产出”这一中间量连接。吞吐翻三倍,若资源利用率、显存占用、草稿模型开销与失败重算比例不同,单位 Token 成本未必同比例下降。

本文要回答的问题有四个:推理成本由什么构成;哪些因素在推高或压低单位成本;如何建立可复算的成本口径与预算;降本动作会在哪里带来风险。

二、典型场景

场景 负载特征 成本关注点
在线对话助手 突发并发、输入短、输出长 尾延迟与峰值带宽、解码阶段吞吐
代码补全 / 智能编码 高频小请求、上下文中等 请求数放大、前缀缓存命中率
检索增强问答 / 文档摘要 输入极长、输出较短 预填充(prefill)算力与显存压力
批量离线任务(翻译、标注、清洗) 峰谷不敏感、可排队 资源利用率、能否挪到低谷时段
Agent 多轮工具调用 单任务多轮、重复上下文 重复前缀、失败重试带来的无效 Token
私有化 / 混合部署 容量固定、扩容慢 闲置率与冗余策略

成本分析的适用前提要说清楚:判断一套推理部署“贵不贵”,不能只看资源单价,而要把业务规模、服务等级(SLO)、输入输出分布、峰谷比、运维投入、稳定性要求与未来增长一并纳入。同样的资源规格,在“低并发离线批处理”里可能是浪费,在“高并发在线服务”里可能是必要冗余。

三、成本构成拆解

直接成本:

  • 计算成本:推理节点(加速卡机型、CPU 核数、内存)的规格、数量与运行时长。在线服务按常驻计费,离线任务按实际运行时长计费,两者的浪费形态完全不同。
  • 存储成本:模型权重(多版本、多精度、多副本)、数据集与向量索引、对象存储与备份、临时交换空间。权重“一模型一份”长期堆放在高性能存储上,是常被忽略的隐性支出。
  • 网络成本:公网出入流量、跨地域/跨可用区传输、负载均衡与内容分发、模型与数据分发到边缘节点的回源流量。
  • 数据库与中间件成本:会话历史、用户画像、缓存集群、消息队列,实例规格与存储容量的叠加。
  • 日志与监控成本:请求级日志、Token 用量埋点、链路追踪、指标采集与保留周期。全量记录 Prompt 与 Completion 时,日志量可与业务数据同量级。
  • 安全成本:身份认证、访问控制、密钥管理、内容合规审核、审计留存与漏洞治理。

间接与隐性成本:

  • 运维人力:巡检、故障处理、版本与驱动升级、容量规划、压测与应急响应。
  • 迁移与适配成本:模型版本切换带来的评测、兼容性适配与联调回归。
  • 隐性成本:资源闲置、系统复杂度上升、排障时间、质量回归引发的返工、容量不足导致的业务损失。

四、影响因素:为什么影响、如何观察、如何优化

  1. 模型规模与精度:参数量与激活量决定显存占用和带宽需求,直接决定单卡能承载的并发上限。观察方式是看显存占用曲线与单实例最大稳定并发;优化空间在精度选择(权重、激活、KV Cache 的量化)与是否真的需要最大规格。
  2. 解码方式:自回归逐 Token 生成时,解码阶段受显存带宽约束,算力常常闲置。投机解码把“串行校验”变成“并行校验”,提升的是单位时间产出;但收益取决于草稿命中率,命中率低时草稿模型的额外开销与重算反而增加成本。观察指标是候选接受率与端到端吞吐,而非只看峰值数字。
  3. 批量与调度:单请求批处理会严重浪费算力。连续批处理与预填充分块能让长短请求混跑,提高吞吐;代价是调度复杂度上升和尾延迟可能恶化。
  4. 上下文长度:KV Cache 随上下文长度增长,占用显存与带宽,进而压低可并发数。长上下文请求占比上升,往往表现为“QPS 没变但成本涨了”。优化方向是上下文裁剪、历史摘要、检索片段精简。
  5. 输入输出比例:输入长输出短偏预填充算力密集,输出长偏带宽密集,两者对机型与并行策略的偏好不同。混跑前应分别测量,避免用一套配置覆盖两类负载。
  6. 利用率与峰谷比:加速卡空转是推理成本最大的浪费源。观察日均利用率、峰谷差与缩容滞后时间。
  7. 地域、网络与冗余策略:多可用区、多地域冗余会成倍放大计算与跨域流量成本;公网直出与内网调用在流量计费上差异明显。
  8. 数据与日志保留:保留周期、索引粒度、采样率直接决定存储与检索成本。

五、成本评估方法:从吞吐到单位经济

第一步,明确业务口径:日请求量、平均输入长度、平均输出长度、峰谷比、可接受的 P95 延迟、目标质量水位。

第二步,建立可复算的单位成本公式:

  1. 每百万有效 Token 成本
  2. = 资源总成本 / 有效 Token 总量
  3. = (Σ 资源单价 × 用量) / (请求数 × 平均输出Token × 有效交付率)
  4. 有效 Token:成功返回、符合 SLO、且通过质量校验的 Token
  5. 有效吞吐 = 成功交付 Token 数 / 统计时长 # 即 goodput,而非峰值 t/s

第三步,区分固定成本与弹性成本:常驻推理集群、模型存储、日志保留属于固定成本;弹性扩容节点、公网流量、按量任务属于弹性成本。固定成本决定“底线支出”,弹性成本决定“波动幅度”。

第四步,评估峰值而非只看均值:

  1. peak_instances ≈ ceil(peak_qps × avg_out_tokens / (per_instance_tps × safety_margin))
  2. safety_margin 建议覆盖冷启动、扩容延迟与故障转移

第五步,设置预算阈值与监控指标:预算线、预警线(如预算的 80%)、异常增长率告警;核心看板指标包括每千次请求成本、每百万 Token 成本、每活跃用户成本、加速卡平均利用率、SLO 达成率、草稿接受率、缓存命中率。

第六步,账单归因与复盘:按业务线、环境(生产/预发/测试)、应用、资源标签拆分成本,定位 Top 成本项;每次模型版本或配置变更前后做同口径对比,避免“改了配置但说不清省在哪”。

六、成本优化路径与边界

优化动作 降本逻辑 边界与风险
投机解码 / 草稿模型 提升单位时间有效产出 命中率随输入分布波动;维护两套模型增加复杂度
连续批处理、预填充分块 提高算力利用率 尾延迟可能上升,需单独设 SLO
前缀缓存 / 语义缓存 消除重复计算 命中率低时无收益;存在一致性与脏读风险
量化与精度下调 降低显存与带宽占用,提升并发 必须有质量评测集守门
模型分级路由 简单请求走小模型 路由误判会带来质量损失与二次调用成本
上下文治理 直接减少 KV Cache 与传输量 过度裁剪导致答非所问
弹性伸缩与低谷批处理 削减闲时浪费 扩容延迟、冷启动、突发流量兜底不足
存储分层与生命周期 降低长期留存与备份成本 取回延迟上升,影响恢复演练
日志采样与分级保留 控制采集与索引成本 排障信息不足,事故定位变慢
环境治理与自动回收 释放测试、临时、无人使用资源 误删导致联调中断,需保留期与审批
资源标签与成本归因 让降本有据可依 标签不规范会导致归因失真

七、成本与性能、质量的平衡

降本必须与三个指标同时评估:单位 Token 成本、尾延迟、输出质量。只优化第一项,通常会在后两项上还债——量化过度导致回答质量下降、批处理激进导致 P99 延迟超标、缓存过宽导致答案过时。建议为每次优化设定“成本改善 + 质量不回归 + SLO 不破线”的三重验收条件,并在预发环境用固定评测集回归。

在自建集群与云平台通用产品(如百度智能云提供的通用计算、容器、对象存储、数据库、日志与监控、身份认证与安全防护等类目)之间做取舍时,同样要按“固定成本 + 弹性成本 + 人力成本 + 迁移成本”四项口径对比,而不是只比较资源单价。

八、常见成本浪费清单

  • 常驻实例长期低利用率运行,未按峰谷缩容;
  • 按历史峰值长期满配,冗余系数层层叠加;
  • 同一模型多版本、多精度、多副本长期并存于高性能存储;
  • 上下文无限拼接,历史全量回灌;
  • 请求级日志全量采集并按业务数据同周期保留;
  • 失败重试与超时无上限,形成无效 Token 放大;
  • 测试与压测资源用完不释放,无到期回收机制;
  • 跨地域、跨可用区调用未走内网或未按就近原则调度;
  • 缺少资源标签,账单无法归因到业务,问题长期无人认领。

九、风险与注意事项

任何降本动作都需要评估四类风险:稳定性风险(缩容后突发流量兜不住)、质量风险(量化与裁剪带来的效果衰减)、安全与合规风险(为省成本关闭审计、加密或内容审核)、恢复能力风险(削减备份与冗余后 RTO/RPO 恶化)。同时要注意可观测性不能一起省掉:如果为了降低日志成本把指标和链路追踪也砍了,后续所有优化都会失去判断依据,反而推高排障人力成本。

十、总结

大模型推理成本治理的核心原则可以归纳为四条:一是先量后降,没有可复算的用量口径与单位成本公式,任何优化都无法验证;二是盯住有效产出,用 goodput 而非峰值吞吐衡量成本,吞吐提升是否转化为成本下降取决于利用率、显存占用与无效重算比例;三是峰谷与上下文优先治理,这两项通常比更换机型见效更快、风险更低;四是质量守门与持续复盘,把成本、延迟、质量纳入同一套验收标准,通过标签归因、预算告警和定期巡检把降本变成可持续的运营机制,而不是一次性动作。

发表评论

活动