logo

# 大模型推理成本拆解:从tokens/s到单位token成本

作者:php是最好的2026.11.18 11:59浏览量:0

简介:本文分析大模型推理服务的成本,包括计算、存储、网络、日志、安全与运维等各项支出。为什么“每秒生成多少token”会成为成本核心杠杆? speculative decoding(投机解码)为何能把单请求生成速度从每秒约40个token提升到接近每秒120个?本文拆解成本构成,给出估算公式与评估流程,并提供优化清单与风险边界,帮助开发者、架构师与成本管理者判断推理账单“贵在哪里、能从哪里省、省到什么程度”。

很多团队在讨论“某个模型每秒能跑多少tokens”时,关注的多是体验指标。但对需要长期承担推理支出的团队而言,tokens/s同样是成本指标。以单实例方式部署的大模型,生成阶段通常受限于显存带宽:每生成一个token都要把模型权重读取一遍,计算单元常处于等待状态。因此提升单请求生成速度或整体吞吐,往往比单纯更换更大规格的实例更能摊薄单位token成本。本文分析的成本对象是自建或托管的大模型推理服务的综合成本。这类成本常见于智能客服、知识问答、内容生成、代码辅助、批量文档处理等场景。这类服务的成本结构与传统Web服务差异明显:CPU和内存不是主要瓶颈,加速卡(GPU)、显存容量、显存带宽以及由此决定的并发能力才是核心。本文从成本构成、影响因素、评估方法、优化路径与风险边界五个方面展开,说明成本“由什么构成、如何估算、从哪里优化”,以及优化时“哪些底线不能破”。

一、典型场景:哪些业务会关心tokens/s与推理成本

推理成本问题通常出现在以下场景中:

  • 在线对话与智能客服:用户请求持续到达,对首token延迟和生成速度敏感。服务为维持低延迟通常常驻部署,空闲时段也在计费。
  • 企业知识问答与文档助手:单次输入包含较长的系统提示和检索到的文档片段,输入token多,成本随知识库规模和检索策略增长。
  • 内容生产与批处理任务:如摘要、翻译、标签抽取、批量审核。单请求token量大,以吞吐和任务完成时间为主,可离线排队处理。
  • 代码辅助与结构化输出:输出可预测性较强,草稿式推测的命中潜力较大。但生成长度不固定,需要关注超时与重复生成。
  • 流量波动明显的业务:活动、促销、早晚高峰带来峰谷差异。按固定规格常驻容易造成闲时浪费,按峰值配置则成本偏高。
  • 多模型、多版本并行的平台型业务:同一业务同时承载不同参数规模或不同版本的模型,需要按模型核算成本,避免“一个总账算不清”。

二、成本构成:推理服务成本由哪些部分组成

2.1 直接成本

成本项 主要消耗来源 计费常见方式 主要治理方向
计算(加速卡实例) 模型前向计算、批处理调度、旁路校验 按实例时长、卡时或算力单元 规格匹配、弹性伸缩、批处理、提升有效吞吐
显存 权重、KV缓存、批处理缓冲 一般内含于实例时长费用 控制上下文长度、量化、前缀复用、合理批大小
存储 模型权重、检查点、数据集、对话历史 按容量与时长,部分存储类型按请求计费 版本清理、冷热分层、生命周期策略
网络 推理服务与调用方之间的公网通信、跨地域调用、镜像与权重分发 按流量、带宽或跨域传输 就近部署、内容分发、减少重复传输
数据库与检索存储 会话历史、任务队列、知识库与向量索引 按规格、容量、请求数 保留策略、索引精简、冷热分离
日志与监控 请求日志、Token用量记录、指标、链路追踪 按采集量、存储量或指标数量 采样、分级保留、减少高基数标签
安全与合规 身份认证、访问控制、输入输出内容审核、审计、传输与存储加密 按调用量、防护规格或审计存储量 分级审核、结果缓存、审计归档分层
运维与人力 容量规划、版本升级、故障处理、性能调优、值班 团队人力投入 自动化运维、标准化发布、完善知识沉淀
迁移与改造 接口适配、兼容性测试、联调与压测、切换回滚准备 一次性项目投入 分阶段迁移、并行验证、灰度切换

2.2 间接成本(隐性成本)

  • 闲置与碎片成本:实例为保障峰值常驻,闲时利用率低;不同规格、不同版本的实例分散部署,整体水位上不去。
  • 返工成本:输出被截断、重复生成、请求超时重试,意味着同样的计算被多次执行。
  • 复杂度成本:模型版本、推理引擎版本、调度策略、提示词模板不断叠加,系统复杂度随之上升。排障时难以快速定位“是模型问题、调度问题还是基础设施问题”,人力成本被隐性放大。
  • 质量与体验成本:降本导致生成速度下降、超时增多或输出质量波动,可能带来用户流失、投诉处理与客诉补偿。
  • 技术锁定与替换成本:绑定特定推理引擎或特定硬件生态后,后续更换方案需要重新适配、压测和回归验证,切换成本随时间累积。

间接成本不会出现在账单明细里,却真实影响总体拥有成本。成本治理应把“总拥有成本”作为评估口径,而不是只看实例时长费用。

三、影响因素:tokens/s与哪些变量一起决定成本

3.1 把生成速度放进成本公式里

先明确成本的核心口径:单位token成本(每个输出token的平均花费)。在线服务按实例时长计费时,可用以下关系粗略表达:

  1. 单实例有效生成速度 ≈ 单请求生成速度 × 并发批量系数
  2. 单位token成本 ≈ 实例单价 ÷(有效生成速度 × 有效时间占比)

式中:

  • “单请求生成速度”即单个请求每秒生成的token数,常被视为tokens/s;
  • “并发批量系数”表示服务同时服务多个请求带来的聚合放大效果;
  • “有效时间占比”扣除等待、空载、预热、故障等不产出token的时间。

同一张卡上,并发低时单请求速度快,但整卡利用率低;并发高时整卡吞吐接近饱和,单请求速度却会下降,体现在交互延迟上。这意味着降本不能以牺牲体验为代价,需要在成本、延迟与吞吐之间寻找平衡点。

3.2 草稿加校验:用更便宜的算力换取更多token产出

原始讨论中的思路是:先让一个小模型“草稿”式地连续预测n个token,再让目标模型一次计算n+1个位置的输出。若草稿全部被接受,就相当于一次前向生成了n+1个token;若在某一步不被接受,就从该位置起重新生成。这与搜索引擎的思路有相似之处:先低成本召回一批候选,再统一校验并截断,从而减少对昂贵资源的反复调用。

这种“草稿加校验”的做法在业界通常被称为投机解码(speculative decoding)。从成本角度看,它本质上是用一个更小、更便宜的模型承担“预测”工作,用目标模型只承担“确认”工作,从而在相同实例成本下产出更多token。

示意性伪代码如下(仅表达通用流程):

  1. def draft_then_verify(prompt_ids, draft_model, target_model,
  2. draft_len=4, max_new_tokens=1024):
  3. prefix = prompt_ids
  4. output_ids = []
  5. accepted = 0
  6. verified = 0
  7. while len(output_ids) < max_new_tokens:
  8. # 1. 小模型低成本“召回”:连续预测 draft_len 个候选token
  9. draft_ids = draft_model.greedy_generate(prefix + output_ids, draft_len)
  10. # 2. 大模型一次前向“校验”:并行得到 draft_len + 1 个位置的分布
  11. logits = target_model.forward(prefix + output_ids + draft_ids)
  12. n_accept = 0
  13. for i in range(draft_len):
  14. token = sample(logits[i])
  15. if token == draft_ids[i]:
  16. output_ids.append(token) # 校验通过,直接采纳
  17. n_accept += 1
  18. else:
  19. output_ids.append(token) # 首个不匹配处:修正采样并重新生成
  20. break
  21. if n_accept == draft_len:
  22. # 全部接受,额外产出由最后一个位置的分布采样得到
  23. output_ids.append(sample(logits[draft_len]))
  24. n_accept += 1
  25. accepted += n_accept
  26. verified += draft_len + 1
  27. prefix = prefix # 前缀随已生成内容滚动扩展
  28. if any(stop in output_ids for stop in STOP_TOKENS):
  29. break
  30. stats = {"平均接受长度": accepted / max(verified / (draft_len + 1), 1e-9),
  31. "接受率": accepted / max(verified, 1)}
  32. return output_ids, stats

需要说明的是,完整的投机解码实现需要采用带修正的接受准则,确保输出分布与直接采样一致。这样提速不以牺牲生成质量为代价。上文伪代码只表达“小模型召回、大模型一次校验、不接受则重新生成”的通用逻辑。

为什么这种做法能提速?核心原因在于生成阶段的访存特性。解码时,每生成一个token都要把目标模型权重读取一遍,计算单元经常“等数据”。草稿模型参数量小,读取成本低;校验阶段对n+1个位置并行计算,相比逐个生成几乎不增加权重的读取次数。所以在单请求或低并发场景下,额外的计算大多可以利用空闲算力完成。

需要指出的是,原始讨论中提到“把每秒约40token的速度优化到接近每秒120token”。这只是特定环境下的示意性结果,并非普遍规律。实际收益取决于模型规模、硬件带宽、草稿模型质量、草稿长度、并发水平与采样策略。必须基于自身流量做基准测试后才能得出可靠结论。

从成本公式看,若实例规格和价格不变而有效生成速度提升,单位token成本就同步下降。在“显存容量先受限、算力尚有空闲”的低并发在线场景,这种优化尤其划算。同时,草稿模型自身会占用一定显存,高并发下校验带来的额外计算也可能抵消收益,需要按负载区间评估。

3.3 其他关键影响因素

影响因素 对成本的作用机制 观察方式 优化方向
参数规模 参数越多,权重占用的显存越大,每token读取的数据量越大,单卡可承载的批大小越小 单卡显存占用、最大可设批大小 按任务难度选择合适规模的模型,简单任务不叠加大模型
量化精度 降低数值精度可压缩权重与KV缓存,提升吞吐,但可能带来精度损失 量化前后的效果评测与吞吐对比 先评测再上线,关键场景保留高精度版本
上下文长度 KV缓存随上下文长度线性增长,长上下文挤压批大小、推高显存需求 输入长度分布、缓存占用 裁剪历史、精简提示、控制检索片段数量
输出长度 输出token通常单价更高,且生成耗时与输出长度正相关 输出长度分布、截断率 设置合理上限、结构化输出、及时停止
批处理与调度 动态拼批提高整卡吞吐,但会增加单请求排队与等待 整卡吞吐、排队时长、超时率 按在线、离线场景分别配置批策略
采样策略 随机性越高,草稿越难命中;高温度下的长尾输出更易触发重试 草稿接受率、重复生成率 按场景固定或收窄采样范围
负载波动 峰值决定常驻容量,低谷决定闲置浪费 分时QPS、分时利用率 弹性伸缩、峰谷分流、离线任务错峰
冗余与可用性 多副本、多可用区部署提升可用性,也成倍增加成本 副本数、故障切换记录 按业务等级分级配置冗余
计费方式 包年包月、按量、竞价等模式在稳定性与单价上各有取舍 资源使用时长分布 稳定负载与波动负载分别匹配计费模式
日志与数据保留 全量留存请求内容与高频指标会持续推高存储费用 日志量、保留周期、存储增长曲线 采样、分级保留、归档低频访问数据

四、成本评估方法:如何估算推理成本

4.1 五步评估流程

  1. 明确业务目标:确定日请求量、输入与输出长度分布、目标延迟(首token延迟与生成速度)、可用性要求和增长预期。
  2. 建立用量口径:以token为统一计量单位,分别统计输入token、输出token与缓存命中token;同时记录每请求成本、每千token成本与单实例日均token产量。
  3. 拆解资源模型:把系统拆成计算实例、显存容量、存储、网络、数据库与检索、日志监控、安全审核、人力运维等资源单元,并为每类资源选择对应计费口径。
  4. 区分固定与弹性成本:常驻实例、包年包月资源、基础监控属于固定成本;按量实例、带宽峰值、日志增量、审核调用属于弹性成本。
  5. 建立预算与监控闭环:为关键资源设置预算线、预警线和异常增长告警,按月或按周按项目、环境、业务线、模型版本维度复盘账单。

4.2 成本估算变量与公式

变量 含义 常用数据来源
Q_day 日均请求数 网关或应用日志
L_in 平均输入token数(含提示与检索内容) 请求采样统计
L_out 平均输出token数 响应采样统计
S 单实例有效生成速度(token/s) 压测基准
T_unit 单请求端到端耗时(秒) 网关耗时统计
U 目标利用率 容量规划目标
R 冗余系数 按可用性等级设定
P_gpu 实例单价(元/小时) 官方价格说明页面
P_in、P_out 输入、输出token单价 官方计费说明页面

核心估算公式如下:

  1. 输入与输出token估算:
  2. 日输入token = Q_day × L_in
  3. 日输出token = Q_day × L_out
  4. 按实例时长计费:
  5. 所需实例数 N = ceil(Q_day × T_unit ÷ (86400 × U)) × R
  6. 月成本 C_month = N × P_gpu × 24 × 当月天数
  7. 按token计费:
  8. C_month = (月输入token × P_in + 月输出token × P_out)
  9. 混合模式:稳定负载走包年包月或预留,波动部分走按量

以上公式给出的是规划起点。实测中,实例数还受显存容量约束(权重加缓存是否放得下),不能只看平均吞吐。

4.3 示意性算例

假设日均请求100万次,平均输入1500个token、输出500个token,即每次请求2000个token,日处理token量20亿。若单实例有效生成速度为每秒约3000个token、目标利用率为60%,则单实例日产能约为每秒3000乘以86400秒再乘以60%,约1.56亿token。所需实例数约为20亿除以1.56亿,向上取整为13个。

若模型替换或推理优化使有效生成速度提升一倍,其他条件不变,所需实例数可降至约7个。这体现了吞吐对实例成本的杠杆作用,但前提是效果评测通过、延迟满足要求。

4.4 预算与归因设计

维度 划分方式 用途
业务维度 按业务线或产品打标签 定位主要消耗方
环境维度 生产、预发、测试、临时 识别测试资源未及时释放
模型维度 按模型版本或用途区分 评估不同模型的单位token成本
成本类型 计算、存储、网络、日志、安全、人力 找到结构性问题
阈值维度 预算线、预警线、异常增长线 触发告警与人工复核

预算阈值可参考以下设计思路:

  • 预算线:按业务规划设定月度上限,接近时通知负责人。
  • 预警线:单日成本环比或周环比超过既定幅度时触发核查。
  • 异常增长线:单请求平均token数、实例数、日志量出现异常抬升时自动告警。

五、成本优化路径:从资源规划到持续治理

5.1 推理效率优化

  • 提升有效生成速度:对延迟敏感的低并发在线场景,可评估草稿加校验等推测式解码方案;对高并发离线场景,重点优化动态拼批与调度策略。
  • 结构化输出与及时停止:使用结构化输出约束减少冗余表述,配置合理的停止条件避免无意义续写。
  • 缓存与复用:对系统提示、长文档等重复前缀做缓存复用,减少重复计算;对相同或相似请求的结果做短期缓存,降低重复推理。
  • 合理设置采样参数:按业务需求收窄采样范围,降低重试与重复生成概率。

5.2 容量与弹性优化

  • 规格匹配:根据实测吞吐与显存占用选择实例规格,避免长期运行在低利用率的超大规格实例上。
  • 弹性伸缩:以并发数、排队时长、生成速度等推理特征指标作为扩缩容依据,而非仅看CPU利用率,因为推理服务的瓶颈通常在加速卡。
  • 峰谷分流:在线请求与离线批处理任务错峰调度,提高整体利用率。

5.3 存储与数据治理

  • 模型版本清理:下线旧版本权重与检查点,避免存储容量随版本迭代持续膨胀。
  • 冷热分层:对话历史、日志与审计数据按访问频率分层存放,低频数据转入归档类存储。
  • 保留策略:按合规要求设定对话与日志的保留周期,到期自动清理。

5.4 日志、监控与可观测性治理

  • 分级记录:默认只记录请求量、token用量、延迟分位、草稿接受率等聚合指标;原始内容按需开启并限期保留。
  • 采样与脱敏:链路追踪按比例采样,敏感字段脱敏后再入库。
  • 控制指标基数:避免把用户标识等高基数字段作为标签,防止指标存储成本失控。

5.5 网络与安全优化

  • 就近部署与内容分发:调用方与推理服务尽量同地域部署,静态资源走内容分发,减少跨地域传输。
  • 分级审核:对输入输出内容做分级审核,低风险请求走轻量规则,高风险请求走完整审核链路。
  • 认证缓存与审计分层:会话凭证合理缓存,审计日志按周期归档到低成本存储。

5.6 运维与工程治理

  • 资源标签与自动回收:所有资源打上业务、环境、负责人标签,测试与临时资源设置到期自动回收。
  • 标准化发布与压测:建立统一的发布流程与压测基线,避免每次调整都靠人工试错。
  • 成本看板:把成本指标与性能、质量指标放在同一看板,方便综合判断。

六、成本与性能的平衡:降本不能以牺牲体验为代价

推理服务的成本优化必须同时看三类指标:

  • 性能类:首token延迟、生成速度、超时率、排队时长。
  • 质量类:输出准确率、结构化解析成功率、人工抽检合格率、草稿接受率。
  • 成本类:每请求成本、每千token成本、实例利用率。

任何优化动作上线前,都应在这三类指标上做基线对比。例如:

  • 提升并发以提高吞吐,可能拉长排队时间;
  • 降低量化精度,可能带来输出质量下降;
  • 缩短日志保留周期,可能影响故障追溯能力。

平衡点取决于业务定位:面向大量用户且对延迟敏感的场景,应优先保障体验,再通过效率优化和弹性伸缩降本;内部批处理场景可以在可接受的完成时间内尽量提高吞吐、压低单位成本。

七、常见成本浪费

浪费类型 典型表现 识别方法
闲置资源 常驻实例长期低利用率,闲时也在计费 分时利用率曲线、实例级账单
过度配置 规格远超实际需求,显存大量空置 显存占用率、批大小上限与实际批大小对比
无效token 输出过长、重复生成、请求失败后重试 输出长度分布、重试率、截断率
日志失控 全量记录原始请求与高基数指标 日志量增长曲线、存储费用占比
重复存储 多版本权重、多份数据集与检查点长期并存 存储清单与最后访问时间
流量异常 跨地域调用多、公网回源重复、无效请求刷量 流量来源分析、跨域传输统计
环境未释放 测试与临时资源用完不回收 标签覆盖率、到期资源清单
版本堆叠 多模型多引擎并行,调度与适配成本上升 版本清单与调用量分布

八、风险与注意事项

  • 稳定性风险:过度压缩冗余、把实例利用率推到极限,一旦流量突增容易出现排队与超时。
  • 恢复能力风险:归档数据取回需要时间,缩短保留周期可能让故障追溯缺少依据。
  • 安全合规风险:降本过程中简化审计、加密或权限控制,会带来数据泄露与合规风险。
  • 质量风险:降低精度、收窄采样或跳过校验类优化,可能让输出质量在长尾场景下降。
  • 容量风险:只按平均流量规划,忽视活动与批量任务的峰值,导致高峰扩容不及时。
  • 组织风险:成本责任不清晰、缺少归因维度,优化动作难以持续,容易出现“优化一次、反弹一次”。

九、总结

大模型推理成本看似复杂,但核心逻辑可以归纳为三点:

  1. 成本以token为单位计量:计算实例是主要支出,有效生成速度直接决定单位token成本。
  2. 生成速度受显存带宽与批处理策略制约:草稿加校验类推测式解码在低并发场景下可以提升有效生成速度,从而降低单位token成本,但收益依赖具体负载与实现质量。
  3. 成本与体验必须联合评估:结合延迟、质量与稳定性指标,建立预算、归因与告警闭环,才能把优化做成持续机制。

对准备做成本规划的团队,建议按“先量化用量、再拆解资源、后设阈值复盘”的顺序推进:先统计token量与长度分布,再按资源类型拆解账单,最后建立预算与异常告警。只有把tokens/s这样的性能信号与账单数据放在同一张看板上,才能判断当前的推理成本是否合理、还有多少优化空间。

发表评论

活动