logo

AI算力容量规划教程:从GPU到Gigawatts

作者:半吊子全栈工匠2026.11.18 11:21浏览量:0

简介:本教程系统讲解AI基础设施的容量规划方法,从业务负载画像出发,逐步拆解Token吞吐估算、CPU与GPU配比设计、IT与设施电力折算、供给交付周期规划等关键环节。帮助开发者、运维与技术负责人建立从"追逐GPU"到"追逐Gigawatts"的规划视角,掌握可落地的容量核算流程、验证手段与排查思路。

一、教程目标

本教程要帮助读者完成的核心任务是:为AI推理/训练业务建立一套科学的算力基础设施容量规划流程,并把规划重心从”数GPU卡”升级到”算Gigawatts(兆瓦/吉瓦级电力)”。

近年来,行业正在经历一次清晰的范式迁移。过去两三年,头部投资机构的规划逻辑是”追逐GPU”——谁能拿到更多加速卡,谁就拥有增长上限;而现在,稀缺瓶颈已经从芯片本身,转移到电力供给、交付周期与整条供应链的定价权上。用业界的通俗说法是:Gigawatt(吉瓦)已经近乎成为AI增长的”原子单位”,也是当下最大的短缺之一。

完成本教程后,你将能够:

  • 从业务负载反推需要多少加速算力与Token吞吐能力;
  • 正确设计CPU与GPU的配比,避免”有卡无CPU”或”有CPU无卡”的结构性浪费;
  • 把芯片数量折算为IT功耗与设施总功耗,评估数据中心电力是否够用;
  • 制定长周期的硬件供给与交付规划,应对内存等关键器件锁定到未来数年供货的紧张局面;
  • 建立容量验证、监控与排查机制,持续优化性能、能效与成本。

二、适用读者与场景

适用读者:

  • 后端/AI工程师:负责大模型推理服务、Agent编排服务的部署与扩容;
  • 运维与SRE:负责集群资源水位、功耗与稳定性的日常保障;
  • 技术负责人与架构师:需要为季度/年度规划算力与电力预算;
  • 企业用户与采购决策方:需要评估自建与租用云服务的成本与供给可行性。

适用场景:

  • 新建AI推理集群,需要从零规划规模;
  • 现有集群扩容,判断是加卡还是补充CPU/网络;
  • 数据中心电力与机柜功率评估;
  • 长周期硬件采购与供给锁定。

三、前置准备

在动手规划前,请准备以下”输入”,规划质量直接取决于输入的准确性:

  1. 业务侧数据:目标QPS(每秒请求数)、平均每次请求的输入/输出Token数、并发峰值、SLA(如P95延迟目标)。
  2. 模型侧参数:模型参数量、层数、注意力头数、量化精度(如FP16/BF16/INT8/INT4)。
  3. 基础设施现状:现有集群的实测利用率、单节点功耗、机柜功率上限、机房PUE。
  4. 基础知识:了解Transformer前向推理的计算与显存特征、GPU算力(TFLOPS)与显存带宽概念、数据中心供配电与PUE(电能使用效率)的基本含义。
  5. 工具:一张计算表格或任意通用脚本即可,无需特定品牌工具。

四、核心概念:为什么规划重心从GPU转向Gigawatts

在给出步骤前,先建立四个必须理解的概念,它们是后续所有计算的基石。

(1)Gigawatt是新的规划原子单位。 芯片可以再生产,但电力接入、变电站扩容、输电走廊审批的建设周期以年计。因此规划不能只问”能买多少卡”,而要先问”能提供多少稳定电力”。建议把电力作为一个独立的顶层约束,先卡电力,再谈卡数。

(2)四层规划视角。 围绕电力这一主线,容量规划要覆盖四个环节,任何一环短板都会成为整体瓶颈:

  • 谁在生产Gigawatts(电力供给方);
  • 谁在缩短Gigawatts的交付周期(基础设施建设方);
  • 谁是Gigawatts的买家(超大规模云厂商/自建方);
  • 谁在消耗由Gigawatts驱动的Token输出(应用层,如Agent类应用)。

(3)算力结构的配比反转。 早期集群普遍是”1个CPU对应8个GPU”(CPU偏轻,主要做调度);而随着推理与”智能体启动智能体”这类编排型负载的爆发,正在转变为”1个GPU对应4个CPU”(CPU显著加重)。原因是数据预处理、分词、请求路由、Agent编排、KV Cache管理、输入输出拼装等环节都在吃CPU。配比错了,加速卡会大量空转等待。

(4)”数字人口爆炸”与供给紧张的持续性。 当智能体开始自动调用智能体,单位用户背后的半导体与电力消耗足迹会被放大数个量级(业内观察可达约1000倍量级)。这使得供给紧张不是短期波动,而是长期状态——内存等关键器件甚至出现锁定到未来数年(如两三年后)的长约,交付窗口还在持续延伸。规划必须按”长期紧缺”来设计,而不是假设明年会缓解。

五、实施步骤

步骤1:绘制AI业务负载画像

做什么:把业务目标翻译成量化指标——目标QPS、每次请求的输入Token数与输出Token数、峰值并发、可接受的延迟上限。

为什么做:所有下游计算(算力、显存、电力)都从这里派生。输入Token影响预填充(prefill)阶段的计算量,输出Token影响解码(decode)阶段的时间与吞吐。

注意:区分训练与推理。训练是一次性大计算,推理是持续性在线服务,两者规划模型完全不同,本教程以推理为主。

步骤2:估算Token吞吐与算力需求

做什么:用近似公式估算所需加速卡数量。经验公式是:稠密Transformer模型前向推理每Token约需 2N 次浮点运算(N为参数量)。

为什么做:这把”业务QPS”换算成了”所需FLOPS”,再除以单卡有效算力(考虑利用率折扣)得到卡数。

注意:务必引入利用率折扣(如0.3~0.6),因为显存带宽、通信、调度都会让理论算力打折;同时单独核算KV Cache显存,避免”算力够但显存不够”。

步骤3:确定CPU与GPU的配比

做什么:按当前负载类型设定CPU与加速卡比例。Agent编排、长上下文、多模态预处理等CPU密集型场景,向”1个加速卡对应更多CPU”靠拢(如1:4乃至更高)。

为什么做:配比失衡会导致加速卡空等CPU喂数据,形成”贵的卡闲着”的资源浪费。

注意:上线前用小规模压测确认CPU没有成为瓶颈(CPU利用率打满而加速卡利用率偏低,就是配比不足的信号)。

步骤4:折算IT功耗与设施总功耗

做什么:先算IT功耗(所有设备实际用电),再乘以PUE得到设施总功耗,最后统一换算到kW/MW/GW。

为什么做:这是”追逐Gigawatts”框架的落地。IT功耗决定设备供电需求,设施功耗决定机房/变电站容量需求。

注意:单台GPU服务器典型功耗在数千瓦级(取决于卡数、CPU数量与网络),务必包含网络设备、存储与冗余;PUE因制冷方式与地域差异一般在1.1~1.5之间,需用自己机房的实际值。

步骤5:制定供给与交付周期规划

做什么:根据设施功耗缺口,评估电力接入的增量需求;根据卡与内存的长交期,制定多年的采购与交付锁定计划。

为什么做:电力扩容、关键器件供货都以”年”为单位,若临到用时才采购,交付窗口会成为增长天花板。

注意:对关键长交期器件(如高带宽内存)提前锁定供货协议;在架构上保留供货来源多元化的余地,降低单一环节断供风险。

六、配置说明

以下是规划中最关键的几个参数,含义与取值逻辑如下:

  • 利用率折扣(util):加速卡有效算力占理论算力的比例,取值需结合显存带宽与通信开销,建议以压测实测值为准,不宜照搬理论峰值。
  • 量化精度(precision):FP16/BF16精度高但显存与算力开销大;INT8/INT4能显著提升吞吐并降低显存占用,但需在精度可接受的前提下使用。
  • PUE:设施总功耗与IT功耗之比,直接放大电力需求,取值错误会严重低估供电缺口。
  • 冗余系数:为保障峰值与故障切换预留的余量,通常留一定安全冗余,但过大将推高成本。
  • SLA目标:延迟与可用性目标决定是否需要更激进的容量冗余。

风险提示:以上参数若过于乐观(如利用率取满、PUE取理论最优),会导致上线后电力不足或频繁扩容。规划应”偏保守”,把不确定性留在余量里。

七、示例说明

以下通用伪代码演示”从QPS到电力”的完整换算链路(仅为示意,非任何专有接口):

  1. import math
  2. def estimate_inference_gpus(target_qps, tokens_per_req, params_billions,
  3. flops_per_gpu, util=0.5):
  4. # 前向推理约 2N FLOPs/token(N为参数量)
  5. flops_per_token = 2 * params_billions * 1e9
  6. tokens_per_sec = target_qps * tokens_per_req
  7. needed_flops = tokens_per_sec * flops_per_token
  8. return math.ceil(needed_flops / (flops_per_gpu * util))
  9. def estimate_kv_cache_gb(layers, kv_heads, head_dim, seq_len,
  10. batch, bytes_per_elem=2):
  11. # KV Cache显存 = 2(K与V) * 层数 * KV头数 * 头维 * 序列长 * 批量 * 字节
  12. return (2 * layers * kv_heads * head_dim * seq_len
  13. * batch * bytes_per_elem) / (1024 ** 3)
  14. def estimate_power_kw(gpu_count, gpu_w, cpu_per_gpu, cpu_w,
  15. overhead_w, pue):
  16. it_power_w = gpu_count * (gpu_w + cpu_per_gpu * cpu_w + overhead_w)
  17. it_kw = it_power_w / 1000
  18. facility_kw = it_kw * pue # 设施总功耗 = IT功耗 * PUE
  19. return it_kw, facility_kw
  20. # 场景:70B模型推理,目标2000 QPS,每次512 Token
  21. gpus = estimate_inference_gpus(target_qps=2000, tokens_per_req=512,
  22. params_billions=70, flops_per_gpu=300e12)
  23. it_kw, facility_kw = estimate_power_kw(
  24. gpu_count=gpus, gpu_w=700, cpu_per_gpu=4, cpu_w=200,
  25. overhead_w=300, pue=1.3)
  26. print(f"所需加速卡: {gpus}")
  27. print(f"IT功耗: {it_kw:.1f} kW, 设施功耗: {facility_kw:.1f} kW "
  28. f"(约 {facility_kw/1e6:.3f} MW)")

在上述参数下,约需近千张加速卡、设施功耗约2MW出头。据此线性放大可直观感受”Gigawatts”的量级:仅千卡级服务就需兆瓦级电力,达到吉瓦级意味着数十万张卡与超大供电缺口——这正是电力成为头号瓶颈的原因。

八、结果验证

规划不能纸上谈兵,需通过以下方式验证:

  • 压测验证吞吐:用接近真实的请求分布打压,确认达到目标QPS且P95延迟满足SLA。
  • 实测功耗校准:在压测同时读取节点实测功耗,与步骤4估算值比对;偏差大说明PUE或单节点功耗假设需修正。
  • 资源水位核对:加速卡利用率、显存占用、CPU利用率三者需均衡;若加速卡利用率高而CPU打满,说明配比不足。
  • 电力冗余核对:设施总功耗应低于机房可用供电容量,并保留增长余量。

九、常见问题与排查

  • 加速卡利用率低但服务慢:多为CPU配比不足或I/O/预处理瓶颈。排查思路:看CPU是否打满、网络是否拥塞,适当提高CPU占比。
  • KV Cache显存溢出(OOM):长上下文或高并发导致显存不足。排查思路:降低批大小、缩短上下文、启用分页式显存管理或更激进的量化。
  • 电力估算严重偏低:常因漏算网络/存储功耗或PUE取过低。排查思路:回到步骤4,纳入全部设备并按实测PUE重算。
  • 交付延期拖累扩容:关键器件交期长。排查思路:提前锁定长约、建立多来源供给、按”长期紧缺”假设预留采购提前量。
  • 上线后延迟抖动大:容量按平均值而非峰值规划。排查思路:引入峰值系数与冗余,做弹性伸缩。

十、优化建议

  • 性能:合理批处理(batching)与算子优化提升单卡吞吐;在可接受前提下采用量化降低显存与算力开销。
  • 能效:关注PUE优化(制冷、气流组织),能效提升等价于变相扩大电力预算。
  • 成本:混合使用自建与云上弹性资源;对长交期、长周期负载提前锁供给,对波动负载用弹性伸缩,避免为峰值长期养冗余。
  • 供应链稳定性:关键器件多来源、预留交付提前量,降低单一环节断供风险。
  • 可维护性:把容量模型脚本化、参数化,纳入版本管理,随实测数据持续校准,让规划从”一次性估算”变为”持续迭代”。

十一、总结

本教程围绕”从追逐GPU到追逐Gigawatts”这一范式迁移,给出了一条完整、可落地的AI算力容量规划路径:先做负载画像 → 估算Token吞吐与算力 → 设计CPU/GPU配比 → 折算IT与设施电力 → 制定供给交付规划 → 压测验证并持续校准。

核心要点有三:第一,把电力(Gigawatts)当作顶层约束优先核算,而非事后补丁;第二,重视配比反转带来的CPU压力与KV Cache显存开销,避免加速卡空转;第三,按”供给长期紧缺”的现实做多年期、多来源的供给规划。后续可进一步关注量化推理优化、弹性伸缩调度、能效治理以及容量模型的自动化校准等方向,让规划体系随业务增长持续演进。

发表评论

活动