教程目标

完成本教程后，读者能够：

1. 根据模型规模和并发需求，判断单节点还是多节点部署更合适；
2. 用单节点吞吐、利用率和服务时长，估算每月可产出的token数量；
3. 分别按租赁和购置两种方式计算硬件成本，并换算为每百万token的成本；
4. 用统一的单位和公式复核结果，避免数量级错误。

本教程使用通用公式和假设参数。文中数字仅作演示，实际计算时应替换为自己的实测数据和当期报价。

适用读者

• 开发者：需要评估推理服务的资源占用、响应速度和并发上限。
• 运维人员：需要规划节点数量、功耗、机房容量和扩容节奏。
• 技术负责人与企业用户：需要比较自建、租赁和调用外部接口三种方式的长期成本。

适用场景

• 企业内网部署大模型问答或文档分析，数据不能离开内网。
• 高频调用场景，按调用量计费的接口费用持续高于自建成本。
• 计划对外提供推理服务，需要测算最低定价，避免定价低于成本。

前置准备

1. 基础概念

• token：模型处理文本的最小计量单位。中文和英文的切分规则不同，实际数量以分词结果为准。
• 吞吐：单位时间内整机生成的token数，常用单位为 tokens/s。
• 单请求速度：某一个请求获得的生成速度。它与整机吞吐不同，并发增加时单请求速度通常会下降。
• 连续批处理（continuous batching）：推理引擎把多个请求合并到同一次计算中，以提高硬件利用率。

2. 业务数据

• 平均输入长度和平均输出长度；
• 日均请求量和高峰并发数；
• 业务对首token延迟和生成速度的要求。

3. 参考资料

• 推理引擎的基准测试报告；
• 目标硬件的官方规格说明；
• 至少两个渠道的报价，包括租赁价和采购价。

4. 实测环境（可选）

如需实测，准备一台单机多卡服务器，安装主流开源推理框架，并准备一个可复现的压测脚本。

实施步骤

第一步：确定最小部署规模

做什么：估算模型权重占用的显存。

为什么：显存决定能否装下模型。显存不足时，只能通过多卡张量并行拆分模型，或者使用量化降低精度。

怎么算：

权重显存（GB） ≈ 参数量（十亿级） × 每参数字节数

• BF16 每参数占 2 字节；
• INT8 每参数占 1 字节；
• INT4 每参数约占 0.5 字节。

例如 1000 亿参数的模型，以 BF16 存储，权重约需 200GB。实际显存还要加上 KV cache、激活值和框架开销，通常需要预留 20% 以上的余量。

注意：混合专家（MoE）模型的总参数决定权重占用，而每个token实际激活的参数决定单次计算量。两者要分开估算。

单节点还是多节点：单节点内的卡之间通信速度远高于跨机通信。如果单节点能装下模型和目标并发，优先选择单节点，可以减少通信开销和运维复杂度。

第二步：测量单节点吞吐

做什么：在目标硬件上，用接近真实业务的输入输出长度进行压测，分别记录不同并发下的单请求速度和整机总吞吐。

为什么：并发越高，批处理越充分，总吞吐越高；但每个请求分到的计算资源变少，单请求速度下降。两者不是简单的乘积关系，必须实测。

示意数据（非实测）：

并发数	单请求速度（tokens/s）	整机总吞吐（tokens/s）
1	100	100
8	40	320
24	20	480

这组数据说明，并发从 1 增加到 24，单请求速度降到原来的五分之一，整机总吞吐提升约 4.8 倍。

注意：

• 推测解码（speculative decoding）可以提升单请求速度，但提升幅度取决于输入内容和草稿模型的接受率，必须用业务样本实测。
• 压测前需要预热，避免首次加载和编译开销影响结果。
• 记录首token延迟，它直接影响用户体验，与总吞吐需要一起评估。

第三步：换算月度产出token数

做什么：把整机吞吐换算为每月可产出的token数。

公式：

月产出token数 = 整机总吞吐（tokens/s）× 每月秒数 × 平均利用率

每月按 30 天计，秒数为 30 × 24 × 3600 = 2,592,000 秒。

示例：整机总吞吐为 700 tokens/s。

• 若 24 小时满载，月产出约为 700 × 2,592,000 ≈ 18.1 亿 tokens。
• 若平均利用率为 60%，月产出约为 18.1 × 0.6 ≈ 10.9 亿 tokens。

为什么要乘利用率：真实业务存在峰谷，夜间和节假日的请求量通常较低。直接按满载估算，会低估单价。

利用率的取值方法：用过去一个月的请求日志，计算每小时实际产出 token 数与满载产出的比值，再取平均值。新业务没有历史数据时，可以先按 30% 到 60% 做敏感性分析。

第四步：计算硬件成本

硬件成本通常有两种计算方式。

方式一：租赁

月租成本 = 单价（元/小时） × 每月小时数（约 720）

租赁价格的计费周期、是否含税、是否含网络和存储，都需要在报价单中逐项确认。

方式二：购置

月成本 = 采购总价 ÷ 折旧月数 + 月电费 + 机房与网络费用 + 运维人力 + 维保费用

示例（演示假设）：整机采购价 700 万元，按 36 个月折旧。

• 月折旧约为 700 ÷ 36 ≈ 19.4 万元；
• 假设电费、机房和运维合计 5 万元/月；
• 月总成本约为 24.4 万元。

注意：

• 采购价需要包含运费、关税（如适用）、安装调试费用；
• 汇率换算应使用统一日期的汇率，并在文档中注明；
• 购置方式受供货周期和渠道影响，部分