logo

大模型推理的成本构成与降本路径

作者:半吊子全栈工匠2026.11.18 11:59浏览量:1

简介:本文围绕主流大模型推理部署中“tokens/s 到底意味着什么”这一话题,拆解大参数模型推理服务的成本构成与影响因素,说明为何提升生成速度往往能直接摊薄每百万 token 成本,并给出覆盖资源规划、容量评估、预算管理和推理加速的成本评估与优化方法。读者可据此判断自身推理负载的降本空间、识别常见浪费,并避免以降低稳定性为代价的降本动作。

一、成本概述:本文分析的是哪种成本

在开发者社区里,“某某参数量的大模型在某某硬件上能跑多少 tokens/s”是长期热门的话题。参数规模越大的模型,对算力和显存的要求越高,单卡吞吐往往随之下降。因此社区中常能看到这样的对比:同一档次的模型,有的部署只跑到几十 tokens/s,有的借助投机解码(speculative decoding)等加速手段,速度能提升到原来的数倍。

原始讨论提到,某类约 270 亿参数规模(27B)的开源大模型,其生成速度从约 40 tokens/s 提升到接近 120 tokens/s。核心思路与搜索引擎的检索流程类似:

  • 先由一个轻量级草稿模型“召回”若干候选 token;
  • 再由目标模型一次性完成验证:若全部接受,说明草稿命中;若中途拒绝,则从被拒绝的位置重新生成。

更值得成本视角关注的是讨论中的另一个判断:这一项目的核心“实质上和搜索引擎很像”。从成本角度看,这不只是类比。草稿模型完成“召回”,目标模型完成“验证”,最终产出被用户接受的 token,构成一条典型的“召回—验证—产出”成本链路。草稿消耗算力但不直接产出结果,就像检索链路中的召回与排序环节。这条链路是否划算,取决于召回质量带来的收益能否覆盖其自身开销。

本文分析的正是这种以生成速度为核心指标的大模型推理成本,具体包括:

  • 计算资源成本:GPU 实例或推理加速卡实例、CPU 与内存开销、容器平台的调度与管理开销;
  • 显存与内存成本:模型权重、KV Cache、运行时缓存占用的容量,它们决定单节点能承载的并发规模;
  • 存储、网络与数据成本:模型文件、请求与响应日志、跨区域传输等;
  • 日志监控、安全合规、运维人力等配套成本;
  • 推理加速改造与验证本身带来的工程投入。

1.1 为什么吞吐与成本紧密相关

推理服务的计费方式通常有两类:

  • 按 token 用量计费:用户按输入、输出 token 数量付费,价格高低取决于模型规模与服务质量;
  • 按资源使用量计费:平台按实例规格与运行时长计费。

无论哪种方式,单位token成本都可写成:

  1. 每百万 token 成本 = 总资源费用 ÷ 有效产出 token 数(单位:百万)

在按量计费模式下,分母直接由吞吐决定:同样一台按小时计费的实例,吞吐翻倍,每 token 摊销的实例费用就约减半。在包年包月等预付费模式下,吞吐决定的是需要多少台实例才能支撑同样的业务量,吞吐提升直接减少实例数量。

因此,“跑到多少 tokens/s”之所以成为成本话题,是因为吞吐决定了单位产出的资源占用效率。

1.2 吞吐提升≠成本下降

需要提醒的是,吞吐提升并不必然等于成本下降:

  1. 若加速依赖更大的显存占用或更高的硬件规格,单位时间费用也会上升,必须换算到每百万 token 成本统一比较;
  2. 吞吐只是单点或单卡的观测值,服务成本还取决于平均利用率、峰谷比和冗余策略;
  3. 提升后的速度能否兑现为成本收益,还取决于业务对延迟的真实要求。

这正是本文要帮助读者形成的判断框架。

二、典型场景:推理成本问题出现在哪里

2.1 在线对话与智能助手

此类场景输入输出都较长,请求连续到达,对首 token 延迟和输出速度敏感。用户能明显感知“吐字快不快”,所以速度往往被视为服务质量的一部分。部署大参数模型时,为达到可接受的输出速度,常需更高规格实例或更多副本,直接抬高单位 token 成本。

2.2 代码生成与补全

输出长度中等但请求频繁,草稿模型对代码片段的命中往往较好。不过草稿命中不等于逻辑正确,验证环节的质量与安全成本仍需保留。

2.3 知识问答与检索增强

输入侧往往携带大量检索片段,预填充阶段的计算量显著增大,输出相对简短。此时瓶颈更多在输入处理,草稿解码带来的提速主要体现在输出阶段。

2.4 批量任务

如内容审核、摘要、数据标注、离线评测,吞吐比单次延迟更重要,推理任务的资源占用更接近批处理作业,可通过错峰运行降低成本。

2.5 压测、评测与选型

这类场景的主要“产品”就是 tokens/s 本身。如果评测口径不统一,很容易被单次跑分误导,进而做出错误的容量与预算决策。

2.6 私有化部署与多租户平台

需同时承担硬件采购或租用、集群运维、容量冗余与多租户隔离的成本,单位 token 成本对资源利用率高度敏感。

三、成本构成:推理服务的钱花在哪

成本类别 主要资源 成本驱动因素 典型浪费点
计算成本 GPU/推理加速实例、CPU、容器 实例规格、数量、运行时长、利用率 长期低载、峰值过度预留
显存与内存 显存、主机内存 权重精度、KV Cache 长度、并发数 上下文上限过大、显存碎片化
存储成本 模型文件、日志、数据集 数据量、副本数、保留周期 多版本模型堆积、日志超期留存
网络成本 公网带宽、跨区域流量 输出流量、跨区调用、回源 跨区域访问、重复传输
数据类成本 数据库、缓存、向量检索 请求量、索引规模、副本数 会话数据无限增长
日志与监控 日志、指标、链路追踪 采集粒度、保留周期、指标基数 全量记录请求内容、指标过细
安全合规 鉴权、访问控制、内容安全 调用规模、审计要求 安全投入与实际风险不匹配
运维人力 人力时间 架构复杂度、自动化程度 重复人工操作、故障反复
迁移与改造 工程投入 改造范围、评测与灰度 一次性改造未量化收益
隐性成本 复杂度、学习成本、风险成本 系统耦合度、故障概率 过度优化带来的可维护性下降

3.1 计算成本:占比通常最高的直接成本

计算成本可表示为:

  1. 计算成本 = Σ(实例规格单价 × 实例数量 × 运行时长)

决定计算成本的关键不只是单价,还有:

  • 规格与模型规模的匹配:显存不足以放下权重和 KV Cache 时,只能降低并发,造成资源空转;
  • 预填充与解码阶段的资源不均衡:长输入场景下预填充吃满算力,解码阶段算力利用率下降,混合部署时体现为 GPU 利用率忽高忽低;
  • 峰谷差:在线业务白天与夜间负载差异明显,按峰值配置会产生大量闲时成本。

3.2 显存与内存成本:决定并发上限的“隐性成本项”

显存本身通常不单独计费,却深刻影响成本:权重、KV Cache 与运行时开销共同占用显存,剩余空间决定能同时服务多少请求。KV Cache 随上下文长度和并发数线性增长。上下文上限设得过大、并发控制不合理,都会导致有效并发下降,需要更多实例才能支撑同样的请求量。这相当于为闲置显存付费。

3.3 存储、网络与数据类成本

  • 模型权重、检查点、评测数据集往往有多份副本、多个版本长期留存;
  • 每次请求写入的日志、多副本存储、跨地域传输流量会随业务增长累积;
  • 开启跨区域容灾或多地域部署后,跨区调用与数据同步流量会明显增加。

3.4 日志、监控与安全成本

为排障与效果分析,推理服务常记录完整的请求与响应内容。token 化文本体量大、重复度高,若全量留存且保留周期过长,日志成本可能迅速超过计算成本中的相当一部分。链路追踪、细粒度指标也会放大采集与存储量。鉴权、内容安全与审计属于必要投入,应与业务规模和风险等级匹配,而不是一律采用最高配置。

3.5 运维人力与迁移改造等隐性成本

容量规划、版本升级、模型热更新、故障处置都消耗人力。像草稿式加速这类改造,还涉及草稿模型选型、接受率评测、灰度发布与回滚机制设计,属于一次性投入,需与长期节省的资源费用一起核算,才能判断改造是否划算。

四、影响因素:为什么同样的模型成本差异很大

影响因素 对成本的作用机制 观察信号 对应优化方向
参数规模与精度 决定权重显存与单次计算量 单卡可承载并发低 量化、稀疏化、蒸馏
上下文长度 输入越长,预填充计算与 KV Cache 越大 预填充耗时占比高 上下文压缩、前缀复用
并发与批处理 批越大吞吐越高,但首 token 延迟上升 GPU 利用率与延迟反向变化 连续批处理、延迟分级
解码策略 逐 token 解码时 GPU 算力闲置 解码阶段利用率低 投机解码、并行采样
草稿质量与接受率 决定投机解码的净收益 实际加速比低于预期 按场景选择草稿来源
输出长度分布 输出越长,解码阶段资源占用越久 长尾请求拖慢整体 输出上限、摘要化
冗余与高可用 多可用区、多副本提升可靠性 低载副本长期存在 分级冗余、弹性副本
计费模式 按量与包年包月适用场景不同 长期负载稳定却全量按量 稳定负载与弹性负载分层
地理位置与网络路径 影响传输时延与跨区流量 跨区调用比例高 就近接入、同区闭环
日志与监控粒度 采样与保留策略决定存储规模 日志量增速快于业务 分级采样、分层存储
  1. 参数规模与精度:参数越多,权重占用的显存与单次计算量越大。降低数值精度或采用稀疏结构,能在精度损失可控的前提下显著降低资源占用。
  2. 上下文长度:输入越长,预填充阶段的计算量和 KV Cache 越大。长上下文场景成本随输入长度近似超线性上升,应关注输入长度分布而非平均值。
  3. 并发与批处理:批处理能显著提升 GPU 利用率和吞吐,但单请求的首 token 延迟会随批次增大而上升。对延迟敏感的业务,需要通过调度策略在吞吐与延迟之间取舍。
  4. 解码阶段特性:标准自回归解码每次前向只产出一个 token,算力利用率往往偏低。这是草稿式加速在算力维度收益明显的原因。
  5. 草稿质量与接受率:草稿越容易被接受,每次验证产出的 token 越多。接受率受模型对任务分布的拟合程度、采样策略、输出可预测性影响,不同场景差异明显。
  6. 输出长度分布:少量超长输出会长时间占用实例,拉低整体利用率,应通过合理设置输出上限加以约束。
  7. 冗余与计费模式:多可用区容灾、多副本部署提升可靠性,但低负载时冗余副本即为沉没成本。长期稳定的基础负载与波动明显的弹性负载,适合采用不同的付费与购买方式。
  8. 网络与日志策略:跨地域调用与高频回源会增加流量费用,全量日志与过细指标会持续放大存储成本。

五、成本评估方法:如何估算与核算

5.1 评估流程

  1. 明确业务目标:统计日请求量、输入与输出 token 的平均及分位数分布、峰谷比、延迟目标与可用性要求。
  2. 拆解资源模型:将推理服务拆成接入层、推理实例、模型与数据存储、日志监控等部分,分别估算资源需求。
  3. 建立用量口径:以“每百万 token 成本”为核心指标,同时记录输入 token、输出 token、输出速度、首 token 延迟、GPU 利用率、显存占用率。
  4. 区分固定与弹性成本:基础负载对应的常驻资源属于固定成本,活动、批量任务对应的伸缩资源属于弹性成本。
  5. 评估峰值与均值:按峰值时段并发而非日均并发进行容量规划,同时评估闲时缩容空间。
  6. 设计预算阈值:为关键资源设置预算线、预警线与异常增长告警。
  7. 持续复盘归因:按业务、环境、模型版本、资源标签等维度分析成本变化。

5.2 估算公式

  1. 日资源费用 = 峰值所需实例数 × 高峰时长占比 × 实例单价
  2. + 平峰所需实例数 × 平峰时长占比 × 实例单价
  3. + 冗余实例数 × 全天时长 × 实例单价
  4. 每百万 token 成本 = 日资源费用 ÷(日输出 token 数 ÷ 1,000,000)

对于草稿式加速,建议同时记录“实际加速比”与“草稿附加开销”,并观察接受率随批次、输入长度的变化:

  1. 实际加速比 = 启用加速后的有效吞吐 ÷ 关闭加速时的有效吞吐
  2. 草稿开销占比 = 草稿模型消耗算力 ÷ 总消耗算力

当加速比明显低于预期时,应优先排查:草稿模型规格是否偏大、批处理下接受率是否下降、验证逻辑的批处理实现是否充分、长输入场景是否推高了预填充占比。

5.3 示意性代码(通用伪代码)

  1. def estimate_monthly_cost(
  2. hourly_price, # 目标云厂商实例价格说明页面中的对应规格单价
  3. peak_qps, off_peak_qps, # 高峰/平峰每秒请求数(由监控统计得到)
  4. avg_input_tokens, avg_output_tokens, # 平均输入/输出 token 数
  5. tokens_per_sec_per_replica, # 单实例实测输出吞吐
  6. target_utilization=0.7, # 目标利用率,为突发流量预留余量
  7. peak_hours=8, redundancy=1, # 每日高峰小时数、冗余实例数
  8. ):
  9. peak_replicas = peak_qps * avg_output_tokens / (
  10. tokens_per_sec_per_replica * target_utilization)
  11. off_peak_replicas = off_peak_qps * avg_output_tokens / (
  12. tokens_per_sec_per_replica * target_utilization)
  13. daily_cost = (
  14. peak_replicas * peak_hours
  15. + off_peak_replicas * (24 - peak_hours)
  16. + redundancy * 24
  17. ) * hourly_price
  18. daily_tokens = (
  19. peak_qps * peak_hours * 3600 + off_peak_qps * (24 - peak_hours) * 3600
  20. ) * avg_output_tokens
  21. return daily_cost * 30, daily_tokens * 30 / 1_000_000 # 月费用、月百万 token 数
  22. # 示例:输入仅用于说明计算方式,不代表任何真实价格或性能数据
  23. monthly_cost, monthly_mtokens = estimate_monthly_cost(
  24. hourly_price=0.0, # 使用时填入目标云厂商价格说明页面中的对应价格
  25. peak_qps=20, off_peak_qps=5,
  26. avg_input_tokens=1500, avg_output_tokens=500,
  27. tokens_per_sec_per_replica=120, # 替换为自身实测值
  28. )
  29. print(f"月成本指数:{monthly_cost:.2f},月输出量:{monthly_mtokens:.1f} 百万 token")

六、成本优化路径

6.1 推理加速:以草稿式解码为例

  • 草稿来源分层选择:
    • 任务输出可预测性强的场景,如代码补全、固定模板生成、格式化输出,可尝试从上下文中检索片段作为草稿,无需额外的草稿模型;
    • 通用对话场景,可使用同系列小参数模型作为草稿;
    • 对于以分析推理为主、输出难以预测的场景,应谨慎评估加速收益。
  • 草稿长度可调:草稿越长,命中时收益越大,但未命中造成的浪费也越多。应根据实测的接受率动态设置草稿长度。
  • 验证环节工程优化:草稿生成与验证涉及多次模型调用,应通过批处理、算子融合等方式减少调度与访存开销,避免加速收益被实现开销吃掉。
  • 成本来源与风险:这部分节省来自单位输出 token 所需的 GPU 计算时间减少。风险是草稿模型额外占用显存,可能压缩可用 KV Cache 空间,反而降低并发能力。

6.2 批处理与调度优化

  • 连续批处理:请求完成后立即释放槽位,避免整批等待最长请求;
  • 预填充与解码分离:按阶段差异分配资源,提高整体利用率;
  • 延迟分级:对离线批处理任务采用更高延迟容忍度,换取更高吞吐。

6.3 显存与上下文治理

  • 结合实际业务分布设定合理的最大上下文与最大输出长度,避免为极端请求预留过多显存;
  • 对系统提示、长文档等重复前缀,启用前缀缓存复用;
  • 会话类场景设置历史截断或摘要压缩策略,控制 KV Cache 增长。

6.4 模型侧优化

  • 量化、蒸馏、稀疏化等方式能直接降低显存与计算需求;
  • 通过任务路由,将简单请求分派到小参数模型,复杂请求才使用大参数模型。

6.5 资源规划与弹性

  • 稳定基础负载可采用包年包月等方式降低成本;波动负载可结合按量付费、弹性伸缩与可中断实例;
  • 按日、按周的负载曲线配置定时伸缩策略。

6.6 存储、日志与网络治理

  • 模型版本只保留在用与最近回滚所需版本;
  • 请求日志按级别采样,敏感字段脱敏,并按生命周期策略分层存储;
  • 推理服务与依赖的数据存储尽量同地域部署,减少跨地域流量。

6.7 自动化治理与成本归因

  • 为资源打标签,按业务、环境、模型版本归集费用;
  • 设置预算告警与利用率巡检,定期回收闲置资源。

6.8 优化清单

优化项 主要节省来源 前置条件 潜在风险
草稿式解码 GPU 计算时间 输出有一定可预测性 草稿开销、显存挤占
连续批处理 实例利用率 在线并发请求 单请求延迟上升
上下文与输出长度治理 显存与计算 业务分布可统计 长文本效果下降
模型量化 显存与计算 精度可接受 输出质量下降
分层付费与弹性伸缩 闲时资源费用 负载可预测、可弹性 扩容延迟、可中断实例中断
日志与存储治理 存储与流量费用 排障需求可分级 排障信息不足
环境治理与成本归因 隐性浪费 有标签与监控体系 管理成本增加

七、成本与性能平衡

降本不能只看账单数字,推理服务的“性能”至少包括三个维度:

  • 生成速度: tokens/s 决定用户感知的流畅度;
  • 首 token 延迟:决定用户等待感;
  • 输出质量:草稿命中的 token 仍需经过验证,质量由目标模型保证,但采样策略与量化等改动可能影响输出分布。

因此评估降本效果时,建议把“每百万 token 成本”与“有效吞吐、首 token 延迟 P95/P99、输出质量评测结果、服务可用性”放在同一张报表中观察。只有在质量、延迟、可用性不劣化到不可接受的前提下,成本下降才是有意义的收益。

八、常见成本浪费

  1. 为跑分而配置:按社区中看到的最高 tokens/s 配置实例,而非按自身业务的延迟要求与并发量规划。
  2. 常驻实例长期低载:夜间与周末无人使用却未缩容。
  3. 重复计算未复用:系统提示、长文档等重复输入未命中缓存,每次请求都重新预填充。
  4. 日志与监控失控:全量记录请求内容、指标维度过细、保留周期过长。
  5. 模型资产冗余:多版本权重与检查点长期堆积。
  6. 测试与临时资源未释放:压测、评测、临时验证用的实例和存储无人回收。
  7. 失败重试放大:超时或异常时无限重试,推高真实调用量与资源消耗。
  8. 加速收益未兑现:启用草稿式加速后未同步调整并发与实例数,节省的算力没有转化为实际费用下降。

九、风险与注意事项

  • 稳定性风险:过度缩容或依赖可中断实例,可能在流量突增时造成排队与超时;
  • 质量风险:激进量化、过短的上下文截断、以命中为目标的采样策略,都可能影响输出质量;
  • 容量风险:草稿模型挤占显存,高并发时反而降低有效并发;
  • 可恢复性风险:存储分层后,冷数据取回需要时间,故障恢复窗口被拉长;
  • 可维护性风险:过度拆分推理链路、叠加过多优化手段,会增加排障与升级难度;
  • 安全风险:降本不能以关闭内容安全、弱化鉴权或降低日志审计为代价;
  • 认知风险:社区中的速度数据往往基于特定硬件、特定参数与特定任务,直接套用可能导致预算偏差。

十、总结

大模型推理成本的核心,不是实例单价的高低,而是“每一块钱换来了多少有效 token”。回到“能跑多少 tokens/s”这个话题,速度本身只是中间变量,真正决定成本的是三点:

  • 单位时间资源费用;
  • 有效吞吐;
  • 平均利用率。

草稿式解码之所以受关注,是因为它以较低的草稿开销,换来了验证阶段并行度的提升,从而摊薄单位 token 的计算成本。但它并非在所有场景都适用,是否采用应基于自身业务的输出特征、接受率实测与端到端评测。

对读者而言,可操作的原则是:

  • 流量波动明显的在线业务,应重点关注弹性伸缩、批处理与峰值容量控制;
  • 长上下文、知识问答类场景,应重点关注输入优化与前缀复用;
  • 批量离线任务,应重点关注错峰调度与延迟分级;
  • 数据长期留存场景,应重点关注存储分层与日志生命周期管理;
  • 资源规模较大的平台,应优先建设成本归因、预算告警与定期巡检机制。

归根结底,合理的降本来自对资源使用方式的精细治理,而不是简单地“买更便宜的”。在百度智能云等主流云平台上,可以借助云服务器、容器平台、监控告警、日志服务、对象存储等通用云产品能力,结合本文的资源拆解与评估方法,建立适合自身业务的推理成本基线,并在持续优化中守住质量、延迟与可用性的底线。

发表评论

活动