AI算力容量规划教程:从GPU到Gigawatts
作者:半吊子全栈工匠2026.11.18 11:21浏览量:0简介:本教程系统讲解AI基础设施的容量规划方法,从业务负载画像出发,逐步拆解Token吞吐估算、CPU与GPU配比设计、IT与设施电力折算、供给交付周期规划等关键环节。帮助开发者、运维与技术负责人建立从"追逐GPU"到"追逐Gigawatts"的规划视角,掌握可落地的容量核算流程、验证手段与排查思路。
一、教程目标
本教程要帮助读者完成的核心任务是:为AI推理/训练业务建立一套科学的算力基础设施容量规划流程,并把规划重心从”数GPU卡”升级到”算Gigawatts(兆瓦/吉瓦级电力)”。
近年来,行业正在经历一次清晰的范式迁移。过去两三年,头部投资机构的规划逻辑是”追逐GPU”——谁能拿到更多加速卡,谁就拥有增长上限;而现在,稀缺瓶颈已经从芯片本身,转移到电力供给、交付周期与整条供应链的定价权上。用业界的通俗说法是:Gigawatt(吉瓦)已经近乎成为AI增长的”原子单位”,也是当下最大的短缺之一。
完成本教程后,你将能够:
- 从业务负载反推需要多少加速算力与Token吞吐能力;
- 正确设计CPU与GPU的配比,避免”有卡无CPU”或”有CPU无卡”的结构性浪费;
- 把芯片数量折算为IT功耗与设施总功耗,评估数据中心电力是否够用;
- 制定长周期的硬件供给与交付规划,应对内存等关键器件锁定到未来数年供货的紧张局面;
- 建立容量验证、监控与排查机制,持续优化性能、能效与成本。
二、适用读者与场景
适用读者:
- 后端/AI工程师:负责大模型推理服务、Agent编排服务的部署与扩容;
- 运维与SRE:负责集群资源水位、功耗与稳定性的日常保障;
- 技术负责人与架构师:需要为季度/年度规划算力与电力预算;
- 企业用户与采购决策方:需要评估自建与租用云服务的成本与供给可行性。
适用场景:
- 新建AI推理集群,需要从零规划规模;
- 现有集群扩容,判断是加卡还是补充CPU/网络;
- 数据中心电力与机柜功率评估;
- 长周期硬件采购与供给锁定。
三、前置准备
在动手规划前,请准备以下”输入”,规划质量直接取决于输入的准确性:
- 业务侧数据:目标QPS(每秒请求数)、平均每次请求的输入/输出Token数、并发峰值、SLA(如P95延迟目标)。
- 模型侧参数:模型参数量、层数、注意力头数、量化精度(如FP16/BF16/INT8/INT4)。
- 基础设施现状:现有集群的实测利用率、单节点功耗、机柜功率上限、机房PUE。
- 基础知识:了解Transformer前向推理的计算与显存特征、GPU算力(TFLOPS)与显存带宽概念、数据中心供配电与PUE(电能使用效率)的基本含义。
- 工具:一张计算表格或任意通用脚本即可,无需特定品牌工具。
四、核心概念:为什么规划重心从GPU转向Gigawatts
在给出步骤前,先建立四个必须理解的概念,它们是后续所有计算的基石。
(1)Gigawatt是新的规划原子单位。 芯片可以再生产,但电力接入、变电站扩容、输电走廊审批的建设周期以年计。因此规划不能只问”能买多少卡”,而要先问”能提供多少稳定电力”。建议把电力作为一个独立的顶层约束,先卡电力,再谈卡数。
(2)四层规划视角。 围绕电力这一主线,容量规划要覆盖四个环节,任何一环短板都会成为整体瓶颈:
- 谁在生产Gigawatts(电力供给方);
- 谁在缩短Gigawatts的交付周期(基础设施建设方);
- 谁是Gigawatts的买家(超大规模云厂商/自建方);
- 谁在消耗由Gigawatts驱动的Token输出(应用层,如Agent类应用)。
(3)算力结构的配比反转。 早期集群普遍是”1个CPU对应8个GPU”(CPU偏轻,主要做调度);而随着推理与”智能体启动智能体”这类编排型负载的爆发,正在转变为”1个GPU对应4个CPU”(CPU显著加重)。原因是数据预处理、分词、请求路由、Agent编排、KV Cache管理、输入输出拼装等环节都在吃CPU。配比错了,加速卡会大量空转等待。
(4)”数字人口爆炸”与供给紧张的持续性。 当智能体开始自动调用智能体,单位用户背后的半导体与电力消耗足迹会被放大数个量级(业内观察可达约1000倍量级)。这使得供给紧张不是短期波动,而是长期状态——内存等关键器件甚至出现锁定到未来数年(如两三年后)的长约,交付窗口还在持续延伸。规划必须按”长期紧缺”来设计,而不是假设明年会缓解。
五、实施步骤
步骤1:绘制AI业务负载画像
做什么:把业务目标翻译成量化指标——目标QPS、每次请求的输入Token数与输出Token数、峰值并发、可接受的延迟上限。
为什么做:所有下游计算(算力、显存、电力)都从这里派生。输入Token影响预填充(prefill)阶段的计算量,输出Token影响解码(decode)阶段的时间与吞吐。
注意:区分训练与推理。训练是一次性大计算,推理是持续性在线服务,两者规划模型完全不同,本教程以推理为主。
步骤2:估算Token吞吐与算力需求
做什么:用近似公式估算所需加速卡数量。经验公式是:稠密Transformer模型前向推理每Token约需 2N 次浮点运算(N为参数量)。
为什么做:这把”业务QPS”换算成了”所需FLOPS”,再除以单卡有效算力(考虑利用率折扣)得到卡数。
注意:务必引入利用率折扣(如0.3~0.6),因为显存带宽、通信、调度都会让理论算力打折;同时单独核算KV Cache显存,避免”算力够但显存不够”。
步骤3:确定CPU与GPU的配比
做什么:按当前负载类型设定CPU与加速卡比例。Agent编排、长上下文、多模态预处理等CPU密集型场景,向”1个加速卡对应更多CPU”靠拢(如1:4乃至更高)。
为什么做:配比失衡会导致加速卡空等CPU喂数据,形成”贵的卡闲着”的资源浪费。
注意:上线前用小规模压测确认CPU没有成为瓶颈(CPU利用率打满而加速卡利用率偏低,就是配比不足的信号)。
步骤4:折算IT功耗与设施总功耗
做什么:先算IT功耗(所有设备实际用电),再乘以PUE得到设施总功耗,最后统一换算到kW/MW/GW。
为什么做:这是”追逐Gigawatts”框架的落地。IT功耗决定设备供电需求,设施功耗决定机房/变电站容量需求。
注意:单台GPU服务器典型功耗在数千瓦级(取决于卡数、CPU数量与网络),务必包含网络设备、存储与冗余;PUE因制冷方式与地域差异一般在1.1~1.5之间,需用自己机房的实际值。
步骤5:制定供给与交付周期规划
做什么:根据设施功耗缺口,评估电力接入的增量需求;根据卡与内存的长交期,制定多年的采购与交付锁定计划。
为什么做:电力扩容、关键器件供货都以”年”为单位,若临到用时才采购,交付窗口会成为增长天花板。
注意:对关键长交期器件(如高带宽内存)提前锁定供货协议;在架构上保留供货来源多元化的余地,降低单一环节断供风险。
六、配置说明
以下是规划中最关键的几个参数,含义与取值逻辑如下:
- 利用率折扣(util):加速卡有效算力占理论算力的比例,取值需结合显存带宽与通信开销,建议以压测实测值为准,不宜照搬理论峰值。
- 量化精度(precision):FP16/BF16精度高但显存与算力开销大;INT8/INT4能显著提升吞吐并降低显存占用,但需在精度可接受的前提下使用。
- PUE:设施总功耗与IT功耗之比,直接放大电力需求,取值错误会严重低估供电缺口。
- 冗余系数:为保障峰值与故障切换预留的余量,通常留一定安全冗余,但过大将推高成本。
- SLA目标:延迟与可用性目标决定是否需要更激进的容量冗余。
风险提示:以上参数若过于乐观(如利用率取满、PUE取理论最优),会导致上线后电力不足或频繁扩容。规划应”偏保守”,把不确定性留在余量里。
七、示例说明
以下通用伪代码演示”从QPS到电力”的完整换算链路(仅为示意,非任何专有接口):
import mathdef estimate_inference_gpus(target_qps, tokens_per_req, params_billions,flops_per_gpu, util=0.5):# 前向推理约 2N FLOPs/token(N为参数量)flops_per_token = 2 * params_billions * 1e9tokens_per_sec = target_qps * tokens_per_reqneeded_flops = tokens_per_sec * flops_per_tokenreturn math.ceil(needed_flops / (flops_per_gpu * util))def estimate_kv_cache_gb(layers, kv_heads, head_dim, seq_len,batch, bytes_per_elem=2):# KV Cache显存 = 2(K与V) * 层数 * KV头数 * 头维 * 序列长 * 批量 * 字节return (2 * layers * kv_heads * head_dim * seq_len* batch * bytes_per_elem) / (1024 ** 3)def estimate_power_kw(gpu_count, gpu_w, cpu_per_gpu, cpu_w,overhead_w, pue):it_power_w = gpu_count * (gpu_w + cpu_per_gpu * cpu_w + overhead_w)it_kw = it_power_w / 1000facility_kw = it_kw * pue # 设施总功耗 = IT功耗 * PUEreturn it_kw, facility_kw# 场景:70B模型推理,目标2000 QPS,每次512 Tokengpus = estimate_inference_gpus(target_qps=2000, tokens_per_req=512,params_billions=70, flops_per_gpu=300e12)it_kw, facility_kw = estimate_power_kw(gpu_count=gpus, gpu_w=700, cpu_per_gpu=4, cpu_w=200,overhead_w=300, pue=1.3)print(f"所需加速卡: {gpus}")print(f"IT功耗: {it_kw:.1f} kW, 设施功耗: {facility_kw:.1f} kW "f"(约 {facility_kw/1e6:.3f} MW)")
在上述参数下,约需近千张加速卡、设施功耗约2MW出头。据此线性放大可直观感受”Gigawatts”的量级:仅千卡级服务就需兆瓦级电力,达到吉瓦级意味着数十万张卡与超大供电缺口——这正是电力成为头号瓶颈的原因。
八、结果验证
规划不能纸上谈兵,需通过以下方式验证:
- 压测验证吞吐:用接近真实的请求分布打压,确认达到目标QPS且P95延迟满足SLA。
- 实测功耗校准:在压测同时读取节点实测功耗,与步骤4估算值比对;偏差大说明PUE或单节点功耗假设需修正。
- 资源水位核对:加速卡利用率、显存占用、CPU利用率三者需均衡;若加速卡利用率高而CPU打满,说明配比不足。
- 电力冗余核对:设施总功耗应低于机房可用供电容量,并保留增长余量。
九、常见问题与排查
- 加速卡利用率低但服务慢:多为CPU配比不足或I/O/预处理瓶颈。排查思路:看CPU是否打满、网络是否拥塞,适当提高CPU占比。
- KV Cache显存溢出(OOM):长上下文或高并发导致显存不足。排查思路:降低批大小、缩短上下文、启用分页式显存管理或更激进的量化。
- 电力估算严重偏低:常因漏算网络/存储功耗或PUE取过低。排查思路:回到步骤4,纳入全部设备并按实测PUE重算。
- 交付延期拖累扩容:关键器件交期长。排查思路:提前锁定长约、建立多来源供给、按”长期紧缺”假设预留采购提前量。
- 上线后延迟抖动大:容量按平均值而非峰值规划。排查思路:引入峰值系数与冗余,做弹性伸缩。
十、优化建议
- 性能:合理批处理(batching)与算子优化提升单卡吞吐;在可接受前提下采用量化降低显存与算力开销。
- 能效:关注PUE优化(制冷、气流组织),能效提升等价于变相扩大电力预算。
- 成本:混合使用自建与云上弹性资源;对长交期、长周期负载提前锁供给,对波动负载用弹性伸缩,避免为峰值长期养冗余。
- 供应链稳定性:关键器件多来源、预留交付提前量,降低单一环节断供风险。
- 可维护性:把容量模型脚本化、参数化,纳入版本管理,随实测数据持续校准,让规划从”一次性估算”变为”持续迭代”。
十一、总结
本教程围绕”从追逐GPU到追逐Gigawatts”这一范式迁移,给出了一条完整、可落地的AI算力容量规划路径:先做负载画像 → 估算Token吞吐与算力 → 设计CPU/GPU配比 → 折算IT与设施电力 → 制定供给交付规划 → 压测验证并持续校准。
核心要点有三:第一,把电力(Gigawatts)当作顶层约束优先核算,而非事后补丁;第二,重视配比反转带来的CPU压力与KV Cache显存开销,避免加速卡空转;第三,按”供给长期紧缺”的现实做多年期、多来源的供给规划。后续可进一步关注量化推理优化、弹性伸缩调度、能效治理以及容量模型的自动化校准等方向,让规划体系随业务增长持续演进。

登录后可评论,请前往 登录 或 注册