# 大模型推理成本拆解:从tokens/s到单位token成本
作者:php是最好的2026.11.18 11:59浏览量:0简介:本文分析大模型推理服务的成本,包括计算、存储、网络、日志、安全与运维等各项支出。为什么“每秒生成多少token”会成为成本核心杠杆? speculative decoding(投机解码)为何能把单请求生成速度从每秒约40个token提升到接近每秒120个?本文拆解成本构成,给出估算公式与评估流程,并提供优化清单与风险边界,帮助开发者、架构师与成本管理者判断推理账单“贵在哪里、能从哪里省、省到什么程度”。
很多团队在讨论“某个模型每秒能跑多少tokens”时,关注的多是体验指标。但对需要长期承担推理支出的团队而言,tokens/s同样是成本指标。以单实例方式部署的大模型,生成阶段通常受限于显存带宽:每生成一个token都要把模型权重读取一遍,计算单元常处于等待状态。因此提升单请求生成速度或整体吞吐,往往比单纯更换更大规格的实例更能摊薄单位token成本。本文分析的成本对象是自建或托管的大模型推理服务的综合成本。这类成本常见于智能客服、知识问答、内容生成、代码辅助、批量文档处理等场景。这类服务的成本结构与传统Web服务差异明显:CPU和内存不是主要瓶颈,加速卡(GPU)、显存容量、显存带宽以及由此决定的并发能力才是核心。本文从成本构成、影响因素、评估方法、优化路径与风险边界五个方面展开,说明成本“由什么构成、如何估算、从哪里优化”,以及优化时“哪些底线不能破”。
一、典型场景:哪些业务会关心tokens/s与推理成本
推理成本问题通常出现在以下场景中:
- 在线对话与智能客服:用户请求持续到达,对首token延迟和生成速度敏感。服务为维持低延迟通常常驻部署,空闲时段也在计费。
- 企业知识问答与文档助手:单次输入包含较长的系统提示和检索到的文档片段,输入token多,成本随知识库规模和检索策略增长。
- 内容生产与批处理任务:如摘要、翻译、标签抽取、批量审核。单请求token量大,以吞吐和任务完成时间为主,可离线排队处理。
- 代码辅助与结构化输出:输出可预测性较强,草稿式推测的命中潜力较大。但生成长度不固定,需要关注超时与重复生成。
- 流量波动明显的业务:活动、促销、早晚高峰带来峰谷差异。按固定规格常驻容易造成闲时浪费,按峰值配置则成本偏高。
- 多模型、多版本并行的平台型业务:同一业务同时承载不同参数规模或不同版本的模型,需要按模型核算成本,避免“一个总账算不清”。
二、成本构成:推理服务成本由哪些部分组成
2.1 直接成本
| 成本项 | 主要消耗来源 | 计费常见方式 | 主要治理方向 |
|---|---|---|---|
| 计算(加速卡实例) | 模型前向计算、批处理调度、旁路校验 | 按实例时长、卡时或算力单元 | 规格匹配、弹性伸缩、批处理、提升有效吞吐 |
| 显存 | 权重、KV缓存、批处理缓冲 | 一般内含于实例时长费用 | 控制上下文长度、量化、前缀复用、合理批大小 |
| 存储 | 模型权重、检查点、数据集、对话历史 | 按容量与时长,部分存储类型按请求计费 | 版本清理、冷热分层、生命周期策略 |
| 网络 | 推理服务与调用方之间的公网通信、跨地域调用、镜像与权重分发 | 按流量、带宽或跨域传输 | 就近部署、内容分发、减少重复传输 |
| 数据库与检索存储 | 会话历史、任务队列、知识库与向量索引 | 按规格、容量、请求数 | 保留策略、索引精简、冷热分离 |
| 日志与监控 | 请求日志、Token用量记录、指标、链路追踪 | 按采集量、存储量或指标数量 | 采样、分级保留、减少高基数标签 |
| 安全与合规 | 身份认证、访问控制、输入输出内容审核、审计、传输与存储加密 | 按调用量、防护规格或审计存储量 | 分级审核、结果缓存、审计归档分层 |
| 运维与人力 | 容量规划、版本升级、故障处理、性能调优、值班 | 团队人力投入 | 自动化运维、标准化发布、完善知识沉淀 |
| 迁移与改造 | 接口适配、兼容性测试、联调与压测、切换回滚准备 | 一次性项目投入 | 分阶段迁移、并行验证、灰度切换 |
2.2 间接成本(隐性成本)
- 闲置与碎片成本:实例为保障峰值常驻,闲时利用率低;不同规格、不同版本的实例分散部署,整体水位上不去。
- 返工成本:输出被截断、重复生成、请求超时重试,意味着同样的计算被多次执行。
- 复杂度成本:模型版本、推理引擎版本、调度策略、提示词模板不断叠加,系统复杂度随之上升。排障时难以快速定位“是模型问题、调度问题还是基础设施问题”,人力成本被隐性放大。
- 质量与体验成本:降本导致生成速度下降、超时增多或输出质量波动,可能带来用户流失、投诉处理与客诉补偿。
- 技术锁定与替换成本:绑定特定推理引擎或特定硬件生态后,后续更换方案需要重新适配、压测和回归验证,切换成本随时间累积。
间接成本不会出现在账单明细里,却真实影响总体拥有成本。成本治理应把“总拥有成本”作为评估口径,而不是只看实例时长费用。
三、影响因素:tokens/s与哪些变量一起决定成本
3.1 把生成速度放进成本公式里
先明确成本的核心口径:单位token成本(每个输出token的平均花费)。在线服务按实例时长计费时,可用以下关系粗略表达:
单实例有效生成速度 ≈ 单请求生成速度 × 并发批量系数单位token成本 ≈ 实例单价 ÷(有效生成速度 × 有效时间占比)
式中:
- “单请求生成速度”即单个请求每秒生成的token数,常被视为tokens/s;
- “并发批量系数”表示服务同时服务多个请求带来的聚合放大效果;
- “有效时间占比”扣除等待、空载、预热、故障等不产出token的时间。
同一张卡上,并发低时单请求速度快,但整卡利用率低;并发高时整卡吞吐接近饱和,单请求速度却会下降,体现在交互延迟上。这意味着降本不能以牺牲体验为代价,需要在成本、延迟与吞吐之间寻找平衡点。
3.2 草稿加校验:用更便宜的算力换取更多token产出
原始讨论中的思路是:先让一个小模型“草稿”式地连续预测n个token,再让目标模型一次计算n+1个位置的输出。若草稿全部被接受,就相当于一次前向生成了n+1个token;若在某一步不被接受,就从该位置起重新生成。这与搜索引擎的思路有相似之处:先低成本召回一批候选,再统一校验并截断,从而减少对昂贵资源的反复调用。
这种“草稿加校验”的做法在业界通常被称为投机解码(speculative decoding)。从成本角度看,它本质上是用一个更小、更便宜的模型承担“预测”工作,用目标模型只承担“确认”工作,从而在相同实例成本下产出更多token。
示意性伪代码如下(仅表达通用流程):
def draft_then_verify(prompt_ids, draft_model, target_model,draft_len=4, max_new_tokens=1024):prefix = prompt_idsoutput_ids = []accepted = 0verified = 0while len(output_ids) < max_new_tokens:# 1. 小模型低成本“召回”:连续预测 draft_len 个候选tokendraft_ids = draft_model.greedy_generate(prefix + output_ids, draft_len)# 2. 大模型一次前向“校验”:并行得到 draft_len + 1 个位置的分布logits = target_model.forward(prefix + output_ids + draft_ids)n_accept = 0for i in range(draft_len):token = sample(logits[i])if token == draft_ids[i]:output_ids.append(token) # 校验通过,直接采纳n_accept += 1else:output_ids.append(token) # 首个不匹配处:修正采样并重新生成breakif n_accept == draft_len:# 全部接受,额外产出由最后一个位置的分布采样得到output_ids.append(sample(logits[draft_len]))n_accept += 1accepted += n_acceptverified += draft_len + 1prefix = prefix # 前缀随已生成内容滚动扩展if any(stop in output_ids for stop in STOP_TOKENS):breakstats = {"平均接受长度": accepted / max(verified / (draft_len + 1), 1e-9),"接受率": accepted / max(verified, 1)}return output_ids, stats
需要说明的是,完整的投机解码实现需要采用带修正的接受准则,确保输出分布与直接采样一致。这样提速不以牺牲生成质量为代价。上文伪代码只表达“小模型召回、大模型一次校验、不接受则重新生成”的通用逻辑。
为什么这种做法能提速?核心原因在于生成阶段的访存特性。解码时,每生成一个token都要把目标模型权重读取一遍,计算单元经常“等数据”。草稿模型参数量小,读取成本低;校验阶段对n+1个位置并行计算,相比逐个生成几乎不增加权重的读取次数。所以在单请求或低并发场景下,额外的计算大多可以利用空闲算力完成。
需要指出的是,原始讨论中提到“把每秒约40token的速度优化到接近每秒120token”。这只是特定环境下的示意性结果,并非普遍规律。实际收益取决于模型规模、硬件带宽、草稿模型质量、草稿长度、并发水平与采样策略。必须基于自身流量做基准测试后才能得出可靠结论。
从成本公式看,若实例规格和价格不变而有效生成速度提升,单位token成本就同步下降。在“显存容量先受限、算力尚有空闲”的低并发在线场景,这种优化尤其划算。同时,草稿模型自身会占用一定显存,高并发下校验带来的额外计算也可能抵消收益,需要按负载区间评估。
3.3 其他关键影响因素
| 影响因素 | 对成本的作用机制 | 观察方式 | 优化方向 |
|---|---|---|---|
| 参数规模 | 参数越多,权重占用的显存越大,每token读取的数据量越大,单卡可承载的批大小越小 | 单卡显存占用、最大可设批大小 | 按任务难度选择合适规模的模型,简单任务不叠加大模型 |
| 量化精度 | 降低数值精度可压缩权重与KV缓存,提升吞吐,但可能带来精度损失 | 量化前后的效果评测与吞吐对比 | 先评测再上线,关键场景保留高精度版本 |
| 上下文长度 | KV缓存随上下文长度线性增长,长上下文挤压批大小、推高显存需求 | 输入长度分布、缓存占用 | 裁剪历史、精简提示、控制检索片段数量 |
| 输出长度 | 输出token通常单价更高,且生成耗时与输出长度正相关 | 输出长度分布、截断率 | 设置合理上限、结构化输出、及时停止 |
| 批处理与调度 | 动态拼批提高整卡吞吐,但会增加单请求排队与等待 | 整卡吞吐、排队时长、超时率 | 按在线、离线场景分别配置批策略 |
| 采样策略 | 随机性越高,草稿越难命中;高温度下的长尾输出更易触发重试 | 草稿接受率、重复生成率 | 按场景固定或收窄采样范围 |
| 负载波动 | 峰值决定常驻容量,低谷决定闲置浪费 | 分时QPS、分时利用率 | 弹性伸缩、峰谷分流、离线任务错峰 |
| 冗余与可用性 | 多副本、多可用区部署提升可用性,也成倍增加成本 | 副本数、故障切换记录 | 按业务等级分级配置冗余 |
| 计费方式 | 包年包月、按量、竞价等模式在稳定性与单价上各有取舍 | 资源使用时长分布 | 稳定负载与波动负载分别匹配计费模式 |
| 日志与数据保留 | 全量留存请求内容与高频指标会持续推高存储费用 | 日志量、保留周期、存储增长曲线 | 采样、分级保留、归档低频访问数据 |
四、成本评估方法:如何估算推理成本
4.1 五步评估流程
- 明确业务目标:确定日请求量、输入与输出长度分布、目标延迟(首token延迟与生成速度)、可用性要求和增长预期。
- 建立用量口径:以token为统一计量单位,分别统计输入token、输出token与缓存命中token;同时记录每请求成本、每千token成本与单实例日均token产量。
- 拆解资源模型:把系统拆成计算实例、显存容量、存储、网络、数据库与检索、日志监控、安全审核、人力运维等资源单元,并为每类资源选择对应计费口径。
- 区分固定与弹性成本:常驻实例、包年包月资源、基础监控属于固定成本;按量实例、带宽峰值、日志增量、审核调用属于弹性成本。
- 建立预算与监控闭环:为关键资源设置预算线、预警线和异常增长告警,按月或按周按项目、环境、业务线、模型版本维度复盘账单。
4.2 成本估算变量与公式
| 变量 | 含义 | 常用数据来源 |
|---|---|---|
| Q_day | 日均请求数 | 网关或应用日志 |
| L_in | 平均输入token数(含提示与检索内容) | 请求采样统计 |
| L_out | 平均输出token数 | 响应采样统计 |
| S | 单实例有效生成速度(token/s) | 压测基准 |
| T_unit | 单请求端到端耗时(秒) | 网关耗时统计 |
| U | 目标利用率 | 容量规划目标 |
| R | 冗余系数 | 按可用性等级设定 |
| P_gpu | 实例单价(元/小时) | 官方价格说明页面 |
| P_in、P_out | 输入、输出token单价 | 官方计费说明页面 |
核心估算公式如下:
输入与输出token估算:日输入token = Q_day × L_in日输出token = Q_day × L_out按实例时长计费:所需实例数 N = ceil(Q_day × T_unit ÷ (86400 × U)) × R月成本 C_month = N × P_gpu × 24 × 当月天数按token计费:C_month = (月输入token × P_in + 月输出token × P_out)混合模式:稳定负载走包年包月或预留,波动部分走按量
以上公式给出的是规划起点。实测中,实例数还受显存容量约束(权重加缓存是否放得下),不能只看平均吞吐。
4.3 示意性算例
假设日均请求100万次,平均输入1500个token、输出500个token,即每次请求2000个token,日处理token量20亿。若单实例有效生成速度为每秒约3000个token、目标利用率为60%,则单实例日产能约为每秒3000乘以86400秒再乘以60%,约1.56亿token。所需实例数约为20亿除以1.56亿,向上取整为13个。
若模型替换或推理优化使有效生成速度提升一倍,其他条件不变,所需实例数可降至约7个。这体现了吞吐对实例成本的杠杆作用,但前提是效果评测通过、延迟满足要求。
4.4 预算与归因设计
| 维度 | 划分方式 | 用途 |
|---|---|---|
| 业务维度 | 按业务线或产品打标签 | 定位主要消耗方 |
| 环境维度 | 生产、预发、测试、临时 | 识别测试资源未及时释放 |
| 模型维度 | 按模型版本或用途区分 | 评估不同模型的单位token成本 |
| 成本类型 | 计算、存储、网络、日志、安全、人力 | 找到结构性问题 |
| 阈值维度 | 预算线、预警线、异常增长线 | 触发告警与人工复核 |
预算阈值可参考以下设计思路:
- 预算线:按业务规划设定月度上限,接近时通知负责人。
- 预警线:单日成本环比或周环比超过既定幅度时触发核查。
- 异常增长线:单请求平均token数、实例数、日志量出现异常抬升时自动告警。
五、成本优化路径:从资源规划到持续治理
5.1 推理效率优化
- 提升有效生成速度:对延迟敏感的低并发在线场景,可评估草稿加校验等推测式解码方案;对高并发离线场景,重点优化动态拼批与调度策略。
- 结构化输出与及时停止:使用结构化输出约束减少冗余表述,配置合理的停止条件避免无意义续写。
- 缓存与复用:对系统提示、长文档等重复前缀做缓存复用,减少重复计算;对相同或相似请求的结果做短期缓存,降低重复推理。
- 合理设置采样参数:按业务需求收窄采样范围,降低重试与重复生成概率。
5.2 容量与弹性优化
- 规格匹配:根据实测吞吐与显存占用选择实例规格,避免长期运行在低利用率的超大规格实例上。
- 弹性伸缩:以并发数、排队时长、生成速度等推理特征指标作为扩缩容依据,而非仅看CPU利用率,因为推理服务的瓶颈通常在加速卡。
- 峰谷分流:在线请求与离线批处理任务错峰调度,提高整体利用率。
5.3 存储与数据治理
- 模型版本清理:下线旧版本权重与检查点,避免存储容量随版本迭代持续膨胀。
- 冷热分层:对话历史、日志与审计数据按访问频率分层存放,低频数据转入归档类存储。
- 保留策略:按合规要求设定对话与日志的保留周期,到期自动清理。
5.4 日志、监控与可观测性治理
- 分级记录:默认只记录请求量、token用量、延迟分位、草稿接受率等聚合指标;原始内容按需开启并限期保留。
- 采样与脱敏:链路追踪按比例采样,敏感字段脱敏后再入库。
- 控制指标基数:避免把用户标识等高基数字段作为标签,防止指标存储成本失控。
5.5 网络与安全优化
- 就近部署与内容分发:调用方与推理服务尽量同地域部署,静态资源走内容分发,减少跨地域传输。
- 分级审核:对输入输出内容做分级审核,低风险请求走轻量规则,高风险请求走完整审核链路。
- 认证缓存与审计分层:会话凭证合理缓存,审计日志按周期归档到低成本存储。
5.6 运维与工程治理
- 资源标签与自动回收:所有资源打上业务、环境、负责人标签,测试与临时资源设置到期自动回收。
- 标准化发布与压测:建立统一的发布流程与压测基线,避免每次调整都靠人工试错。
- 成本看板:把成本指标与性能、质量指标放在同一看板,方便综合判断。
六、成本与性能的平衡:降本不能以牺牲体验为代价
推理服务的成本优化必须同时看三类指标:
- 性能类:首token延迟、生成速度、超时率、排队时长。
- 质量类:输出准确率、结构化解析成功率、人工抽检合格率、草稿接受率。
- 成本类:每请求成本、每千token成本、实例利用率。
任何优化动作上线前,都应在这三类指标上做基线对比。例如:
- 提升并发以提高吞吐,可能拉长排队时间;
- 降低量化精度,可能带来输出质量下降;
- 缩短日志保留周期,可能影响故障追溯能力。
平衡点取决于业务定位:面向大量用户且对延迟敏感的场景,应优先保障体验,再通过效率优化和弹性伸缩降本;内部批处理场景可以在可接受的完成时间内尽量提高吞吐、压低单位成本。
七、常见成本浪费
| 浪费类型 | 典型表现 | 识别方法 |
|---|---|---|
| 闲置资源 | 常驻实例长期低利用率,闲时也在计费 | 分时利用率曲线、实例级账单 |
| 过度配置 | 规格远超实际需求,显存大量空置 | 显存占用率、批大小上限与实际批大小对比 |
| 无效token | 输出过长、重复生成、请求失败后重试 | 输出长度分布、重试率、截断率 |
| 日志失控 | 全量记录原始请求与高基数指标 | 日志量增长曲线、存储费用占比 |
| 重复存储 | 多版本权重、多份数据集与检查点长期并存 | 存储清单与最后访问时间 |
| 流量异常 | 跨地域调用多、公网回源重复、无效请求刷量 | 流量来源分析、跨域传输统计 |
| 环境未释放 | 测试与临时资源用完不回收 | 标签覆盖率、到期资源清单 |
| 版本堆叠 | 多模型多引擎并行,调度与适配成本上升 | 版本清单与调用量分布 |
八、风险与注意事项
- 稳定性风险:过度压缩冗余、把实例利用率推到极限,一旦流量突增容易出现排队与超时。
- 恢复能力风险:归档数据取回需要时间,缩短保留周期可能让故障追溯缺少依据。
- 安全合规风险:降本过程中简化审计、加密或权限控制,会带来数据泄露与合规风险。
- 质量风险:降低精度、收窄采样或跳过校验类优化,可能让输出质量在长尾场景下降。
- 容量风险:只按平均流量规划,忽视活动与批量任务的峰值,导致高峰扩容不及时。
- 组织风险:成本责任不清晰、缺少归因维度,优化动作难以持续,容易出现“优化一次、反弹一次”。
九、总结
大模型推理成本看似复杂,但核心逻辑可以归纳为三点:
- 成本以token为单位计量:计算实例是主要支出,有效生成速度直接决定单位token成本。
- 生成速度受显存带宽与批处理策略制约:草稿加校验类推测式解码在低并发场景下可以提升有效生成速度,从而降低单位token成本,但收益依赖具体负载与实现质量。
- 成本与体验必须联合评估:结合延迟、质量与稳定性指标,建立预算、归因与告警闭环,才能把优化做成持续机制。
对准备做成本规划的团队,建议按“先量化用量、再拆解资源、后设阈值复盘”的顺序推进:先统计token量与长度分布,再按资源类型拆解账单,最后建立预算与异常告警。只有把tokens/s这样的性能信号与账单数据放在同一张看板上,才能判断当前的推理成本是否合理、还有多少优化空间。

登录后可评论,请前往 登录 或 注册