logo

千卡万卡AI训练集群搭建与推理部署实战

作者:沙与沫2026.11.16 11:48浏览量:0

简介:面向需要搭建千卡至万卡AI集群的工程师,提供算力估算、网络存储、分布式并行、推理压测、安全合规与成本优化的落地方案。文章给出可执行启动命令、参数区间、MFU口径与排查清单,帮助团队快速构建稳定、可扩展、可复现的大规模训练推理平台。

千卡万卡AI训练集群搭建与推理部署实战

教程目标与收益

本文面向需要搭建千卡至万卡AI训练集群的开发者、算法工程师、平台工程师与运维人员,目标是从零构建一套可支撑大模型训练、推理部署、压测验证和长期稳定运行的AI基础设施。完成阅读后,你将能够:

  • 根据模型参数量、训练token数量和目标训练周期,估算所需GPU数量;
  • 规划RDMA、RoCE、InfiniBand等高速网络与对象存储、并行文件系统;
  • 选择合适的并行策略,并使用可执行命令启动多机多卡训练;
  • 将训练完成的模型部署为具备压测、监控、鉴权、限流能力的推理服务;
  • 通过MFU、吞吐、延迟、故障恢复和成本指标,持续验证与优化集群。

本文更强调可落地性,会给出命令示例、参数区间、验收口径和排查路径,帮助读者把大规模AI基础设施真正跑起来。

适用读者与典型场景

适合以下读者:

  • 需要训练大语言模型、多模态模型或代码生成模型的算法工程师;
  • 负责GPU集群搭建、资源调度、故障恢复和平台运维的工程师;
  • 计划建设训练平台或推理平台的技术负责人;
  • 需要评估训练、推理、存储和网络成本的技术决策者。

典型场景包括:

  • 对话式AI助手与大模型预训练;
  • 图像、语音、视频等多模态生成模型训练;
  • 代码生成、代码补全和智能调试工具;
  • 实时视频理解、内容审核与流式生成;
  • 长期在线提供模型推理能力的企业级服务。

这些场景的共同特点是算力需求大、迭代速度快、对稳定性、可观测性、安全合规和成本控制要求高。

前置准备

在正式搭建之前,建议准备以下条件。

1. 算力资源

集群可以从单机8卡起步,再扩展到多机多卡、千卡、万卡规模。规模扩大后,网络通信、数据读取、检查点写入和故障恢复能力会直接影响训练效率。

2. 高速互联网络

训练节点之间通常需要低延迟、高带宽网络,例如RDMA、RoCE或InfiniBand。节点内多卡之间通常依赖NVLink或等效高带宽互联。如果网络拓扑设计不合理,可能出现“卡越多、效率越低”的情况。

3. 分布式存储

建议采用分层存储:

  • 对象存储:保存原始数据集、模型版本、日志归档;
  • 并行文件系统:保存训练过程中的高频读取数据、临时文件和检查点;
  • 本地高速盘:用于预取、缓存和格式化后的训练数据。

4. 软件环境

建议至少包含:

  • GPU驱动与CUDA环境;
  • 深度学习框架,如PyTorch;
  • 分布式训练框架或并行训练工具,如Megatron-LM、DeepSpeed、FSDP;
  • 容器运行时与镜像仓库;
  • 日志、监控和告警系统;
  • 推理服务框架与压测工具。

正式环境应锁定驱动、CUDA、框架和依赖库版本,并将运行环境固化为容器镜像,以保证实验可复现、问题可追踪。

第一步:千卡万卡集群规模怎么估算?

集群规模不是越大越好,应该由模型参数量、训练token数量、目标训练天数和单卡实测有效算力共同决定。

算力估算公式

可以使用如下经验公式进行初步估算:

  1. 训练总算力(FLOPs)≈ 6 × 模型参数量 × 训练token数量

该公式通常适用于稠密Transformer模型的基础前向与反向传播训练,主要用于粗略估算。它不直接包含以下因素:

  • 激活重计算带来的额外计算;
  • 多机多卡通信开销;
  • 优化器状态显存与读写开销;
  • 长上下文注意力带来的额外计算;
  • 混合专家模型的路由与稀疏计算;
  • 序列并行、上下文并行、张量并行和流水线并行带来的切分与调度开销;
  • 数据加载、CPU预处理和存储I/O等待时间。

因此,公式适合做容量规划的起点,而不是最终精确值。

从总算力到GPU数量

进一步估算所需GPU数量时,可以使用单卡实测有效算力,而不是理论峰值算力:

  1. 所需GPU数 ≈ 训练总算力 / (单卡实测有效算力 × 训练天数 × 86400) × 冗余系数

如果单卡实测有效算力单位为TFLOPS/卡,则公式可写为:

  1. 所需GPU数 ≈ (6 × 模型参数量 × 训练token数量)
  2. / (单卡实测有效算力TFLOPS × 1e12 × 训练天数 × 86400)
  3. × 冗余系数

建议冗余系数取1.1到1.3,用于应对故障重试、节点维护、负载波动和训练重启。

单卡实测有效算力怎么理解?

这里的“单卡实测有效算力”指在当前模型、当前并行策略、当前数据管道下,单张GPU实际参与训练的有效浮点算力,单位为TFLOPS/卡。

它不是samples/s,也不是单纯的tokens/s。区别在于:

  • samples/s 表示每秒处理多少条样本;
  • tokens/s 表示每秒处理多少token;
  • 单卡实测有效算力表示每秒完成多少有效浮点运算。

如果训练框架日志给出全局吞吐tokens/s,可以这样换算:

  1. 单卡实测有效算力(TFLOPS/卡)
  2. ≈ 全局tokens/s × 6 × 模型参数量 / GPU数量 / 1e12

测量方法建议如下:

  1. 固定模型、micro-batch、并行策略和数据管道;
  2. 预热20到50步;
  3. 排除检查点保存阶段;
  4. 连续记录100到300步的训练吞吐;
  5. 取稳态平均值,而不是峰值或抖动值;
  6. 如果启用了激活重计算,需要按重计算后的实际吞吐测量。

拓扑规划建议

推荐采用“节点内多卡、节点间互联”的分层结构:

  • 高频、密集通信尽量限制在单机节点内部,例如张量并行;
  • 跨节点通信优先使用数据并行或流水线并行;
  • 如果跨节点带宽不足,应减少跨节点同步频率;
  • 单机8卡且节点内互联带宽较高时,通常优先把张量并行控制在单节点范围内。

需要避免盲目扩大节点数量。如果网络、数据读取和通信策略没有同步优化,可能出现GPU利用率较高但训练吞吐不升反降的情况。

第二步:RDMA网络与并行文件系统怎么配?

训练性能是否稳定,很大程度取决于网络带宽、存储IOPS、数据加载和检查点写入是否匹配。

网络准备

训练网络建议优先使用低延迟、高带宽互联。部署后建议验证:

  • 节点间带宽是否达到预期;
  • 多机集合通信是否正常;
  • 网络是否存在丢包、抖动或拥塞;
  • RDMA设备是否正常识别;
  • 多机训练时通信后端是否正常工作。

常用诊断方式包括:

  1. # 查看GPU拓扑
  2. nvidia-smi topo -m
  3. # 查看RDMA设备状态
  4. ibstat
  5. # 查看InfiniBand设备与端口
  6. ibv_devinfo
  7. # 使用nccl-tests验证多机AllReduce性能
  8. ./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8
  9. # 使用ib_write_bw验证节点间RDMA带宽
  10. ib_write_bw -d mlx5_0 -i 1 -F

不要只看单节点GPU状态,还要观察多机同步时的通信效率。

存储准备

建议采用分层存储:

  1. 对象存储保存原始数据集、模型版本和长期归档;
  2. 并行文件系统保存训练过程中高频读取的数据和检查点;
  3. 本地高速盘作为临时缓存,用于预取和格式化后的训练数据。

检查点建议采用分片保存与异步写入,避免保存检查点时阻塞主训练循环。对于长周期训练,建议对关键检查点进行冗余保存,并定期校验完整性。

数据管道优化

数据加载常见优化包括:

  • 开启多进程数据加载;
  • 使用预取机制;
  • 将原始数据转换为训练友好的二进制格式;
  • 避免在训练过程中进行复杂预处理;
  • 对热点数据增加缓存;
  • 将图像、音频、视频等数据提前解码或分块。

如果GPU利用率长期偏低,但通信也不繁忙,应优先检查数据加载是否成为瓶颈。

第三步:分布式训练策略怎么选?

中小模型优先数据并行;超大模型通常需要张量并行、流水线并行与数据并行组合;显存不足时可引入ZeRO、FSDP或激活重计算。

并行策略对比

并行策略 主要收益 通信特点 适用场景 调优要点
数据并行 提升吞吐,逻辑简单 梯度同步通信量较大 中小模型、样本量大 控制批量大小,优化AllReduce
张量并行 降低单层参数显存占用 层内通信密集,要求高带宽 单卡放不下的稠密大模型 尽量限制在节点内
流水线并行 降低模型层切分后的显存压力 阶段间点对点通信 超深模型、多层网络 平衡各阶段计算量,减少气泡
优化器状态切分 降低优化器显存占用 需要额外通信或分片管理 显存紧张的大规模训练 结合ZeRO/FSDP

典型参数参考

以下参数不是固定值,只作为启动前的经验起点:

  • 70B级稠密模型:单机8卡且节点内带宽较高时,可优先考虑TP=8、PP=1或PP=2;
  • 175B级稠密模型:可考虑TP=8、PP=8到16,具体取决于层数、节点内互联和跨节点带宽;
  • 数据并行度:DP = world_size / (TP × PP);
  • 如果跨节点带宽有限,优先增加数据并行,谨慎提高流水线并行阶段数;
  • 如果单卡显存不足,优先降低micro-batch、启用激活重计算、ZeRO或FSDP。

多机启动示例

下面给出一个基于torchrun的多机启动示例。关键是必须显式指定--master_addr、--master_port和--node_rank,否则多节点任务无法正确组网。

  1. # 示例:16个节点,每节点8卡,总计128卡
  2. # 每个节点执行一条命令,NODE_RANK从0到15
  3. # MASTER_ADDR指向0号节点的IP,所有节点保持一致
  4. # MASTER_PORT需要在所有节点上保持一致且未被占用
  5. torchrun \
  6. --nnodes=16 \
  7. --node_rank=${NODE_RANK} \
  8. --master_addr=${MASTER_ADDR} \
  9. --master_port=29500 \
  10. --nproc_per_node=8 \
  11. train.py \
  12. --tensor-model-parallel-size 8 \
  13. --pipeline-model-parallel-size 4
  14. # world_size = nnodes × nproc_per_node = 16 × 8 = 128
  15. # DP = world_size / (TP × PP) = 128 / (8 × 4) = 4

如果使用Slurm,可以通过srun自动注入节点列表、主节点地址和任务rank。如果使用Kubernetes,可以通过StatefulSet、Job或训练 Operator管理节点rank,并通过headless service或初始化容器获取master地址。

混合精度与梯度累积

混合精度可以显著降低显存占用和计算开销,但需要注意数值稳定性。

  1. dtype = "bf16" # 可切换为 "fp16"
  2. scaler = torch.cuda.amp.GradScaler(enabled=(dtype == "fp16"))
  3. accum_steps = 4
  4. for step, batch in enumerate(loader):
  5. with torch.autocast(
  6. "cuda",
  7. dtype=torch.bfloat16 if dtype == "bf16" else torch.float16
  8. ):
  9. loss = model(batch) / accum_steps
  10. if dtype == "fp16":
  11. scaler.scale(loss).backward()
  12. else:
  13. loss.backward()
  14. if (step + 1) % accum_steps == 0:
  15. if dtype == "fp16":
  16. scaler.step(optimizer)
  17. scaler.update()
  18. else:
  19. optimizer.step()
  20. optimizer.zero_grad(set_to_none=True)

说明:

  • bf16通常动态范围更好,数值稳定性优于fp16,多数场景下不需要GradScaler;
  • fp16需要GradScaler或等效损失缩放机制,防止梯度下溢;
  • 梯度累积需要配合更小的micro-batch使用,否则不能有效降低峰值显存;
  • 如果启用梯度累积后仍出现OOM,应检查micro-batch、激活重计算、并行度和优化器状态切分策略。

第四步:推理服务怎么上线?

推理服务应独立部署,并同时具备性能压测、访问控制、限流、监控和弹性伸缩能力。

基础部署原则

建议将推理资源池与训练资源池隔离,避免训练任务抢占推理资源。推理服务上线前至少应包含:

  • 模型加载与版本管理;
  • 健康检查接口;
  • 请求鉴权;
  • 访问控制;
  • 网络隔离;
  • 限流与熔断;
  • 日志与指标采集;
  • 延迟和错误率告警。

动态批处理配置

推理服务常用动态批处理来提升吞吐。不同框架参数名称可能不同,但核心目标一致。

以Triton为例,可以在模型配置中设置动态批处理:

  1. dynamic_batching {
  2. preferred_batch_size: [ 8, 16 ]
  3. max_queue_delay_microseconds: 50000
  4. }

如果使用vLLM,也可以根据部署场景调整最大并发序列数、最大批处理token数或排队参数。

常见经验区间:

  • 低延迟场景:batch从8或16开始,等待时间约20到50毫秒;
  • 高吞吐场景:batch可设为32或64,等待时间约50到100毫秒;
  • 请求队列长度应设置上限,避免请求堆积导致延迟雪崩;
  • 副本数量应根据单副本吞吐和目标QPS动态计算。

需要注意副作用:批处理过大或等待时间过长会提高吞吐,但也会增加单请求延迟和尾延迟。必须结合P95、P99延迟判断。

压测方法

上线前建议使用压测工具进行验证,例如wrk、k6、Locust或自定义并发脚本。

一个简单的wrk POST压测示例:

  1. cat > post.lua <<'EOF'
  2. wrk.method = "POST"
  3. wrk.headers["Content-Type"] = "application/json"
  4. wrk.body = '{"prompt":"hello","max_tokens":128}'
  5. EOF
  6. wrk -t8 -c128 -d60s --latency -s post.lua http://127.0.0.1:8000/generate

建议按以下并发梯度逐步压测:

  1. 1 → 4 → 8 → 16 → 32 → 64 → 128

压测指标至少包括:

  • QPS或tokens/s;
  • P95延迟;
  • P99延迟;
  • 错误率;
  • GPU利用率;
  • 显存占用;
  • 请求排队时间;
  • 实例CPU和内存水位。

对于交互式推理服务,可以参考以下目标,但具体数值需结合业务确认:

  • P95延迟低于500毫秒;
  • P99延迟低于800毫秒;
  • 错误率低于0.5%;
  • 队列长度不超过设定阈值;
  • 单副本吞吐满足扩容前压测结果。

达成方式包括:增加副本数、调整动态批处理参数、优化请求队列、使用KV Cache、对长请求单独限流、对高优先级请求设置独立资源池,以及通过监控识别长尾请求来源。

第五步:智能代码生成与调试怎么接入?

代码生成与智能调试可以缩短开发周期,但必须纳入代码审查、自动化测试、权限控制和合规管理。

在研发流程中接入代码生成能力时,建议:

  • 将生成结果纳入代码审查和自动化测试;
  • 不允许未经测试的代码直接进入生产分支;
  • 对敏感代码、密钥、内部接口、用户数据进行脱敏;
  • 对代码生成工具本身实施访问控制;
  • 记录调用日志,便于审计和问题追踪;
  • 关注生成代码涉及的许可证与版权合规;
  • 对高风险场景限制自动合入权限。

代码生成工具适合辅助编写、补全、重构和排查问题,但不应替代最终责任人对代码质量和安全负责。

安全配置与最小合规项

推理服务不能只考虑性能,还必须考虑安全。建议至少落实以下最小合规项:

  • 使用API Key、JWT、OAuth等鉴权方式;
  • 对不同租户或调用方做访问控制;
  • 推理服务尽量部署在私有网络内;
  • 对外暴露时配置TLS、网关、WAF和安全组;
  • 对请求做限流,防止异常流量拖垮服务;
  • 对敏感请求做审计日志;
  • 对模型文件和推理框架依赖做版本固定;
  • 使用密钥管理服务或密钥管理系统保存API Key、证书和访问令牌;
  • 对密钥进行轮换,并遵循最小权限原则;
  • 对审计日志设置保留周期,满足安全审计与合规要求;
  • 对输入输出中的敏感信息进行脱敏或屏蔽;
  • 对模型文件设置只读权限、访问白名单和完整性校验;
  • 对训练数据、推理日志和检查点设置访问控制与加密策略;
  • 对依赖包和容器镜像进行漏洞扫描与版本锁定。

结果验证:如何判断集群是否合格?

训练验证

  • loss是否稳定下降;
  • 是否出现NaN或Inf;
  • 梯度范数是否异常;
  • 检查点是否可以正常加载;
  • 断点恢复后是否能从最近检查点继续训练。

吞吐与MFU验证

不能只看GPU利用率,还应观察MFU。MFU可以定义为实际训练有效算力与理论峰值算力的比值:

  1. MFU = 实际训练有效算力 / 集群理论峰值算力

如果框架日志给出全局tokens/s,可以这样计算:

  1. 实际训练有效算力(TFLOPS)
  2. ≈ 全局tokens/s × 6 × 模型参数量 / 1e12
  3. MFU
  4. ≈ 实际训练有效算力 / (单卡峰值算力 × GPU数量)

经验上,千卡规模集群可尝试以MFU达到0.35到0.45作为初步优化目标;万卡规模由于通信和调度复杂度更高,可先以0.25到0.40作为观察区间。该指标需要结合自身模型、网络和框架实测调整。

如果GPU利用率低,但通信带宽也不高,应重点检查数据加载、CPU预处理和存储I/O。

推理验证

对推理服务进行压测,确认:

  • P95和P99延迟;
  • 错误率;
  • 并发梯度下的稳定性;
  • 队列长度;
  • 自动扩缩容是否生效;
  • 限流和熔断是否有效。

故障验证

建议主动模拟故障:

  • 杀掉单个训练节点;
  • 模拟网络抖动;
  • 模拟存储写入失败;
  • 模拟检查点损坏;
  • 验证训练任务是否能自动重启或恢复;
  • 验证告警是否及时触发。

常见问题与排查

1. 多卡扩展后训练反而变慢

常见原因:跨节点通信瓶颈、网络拓扑不合理、同步频率过高。

排查方式:

  • 检查节点间带宽利用率;
  • 检查集合通信是否异常;
  • 调整数据并行、张量并行和流水线并行比例;
  • 尽量减少跨节点高频通信;
  • 检查数据加载是否阻塞训练。

2. 训练中断且难以恢复

常见原因:检查点未保存、检查点损坏、恢复逻辑异常。

排查方式:

  • 验证检查点文件完整性;
  • 缩短检查点保存间隔;
  • 使用分片保存和冗余副本;
  • 定期执行恢复演练;
  • 确保训练框架支持断点续训。

3. 显存溢出OOM

常见原因:micro-batch过大、并行度不足、优化器状态过多、激活值占用过高。

排查方式:

  • 降低micro-batch;
  • 启用梯度累积,但必须配合更小的micro-batch;
  • 启用激活重计算;
  • 使用ZeRO或FSDP切分优化器状态和梯度;
  • 提高张量并行或流水线并行切分度;
  • 检查是否存在异常长序列或异常大输入。

4. 推理延迟波动大

常见原因:动态批处理策略不当、资源争抢、队列过长、长请求拖慢整体服务。

排查方式:

  • 独立部署推理资源池;
  • 优化动态批处理等待时间和批大小;
  • 对长请求单独限流;
  • 增加副本数;
  • 检查P99延迟来源;
  • 检查GPU、CPU、网络和存储是否出现瓶颈。

5. 成本持续上升

常见原因:资源长期空闲、推理副本过多、训练任务未使用弹性资源、存储和日志未设置生命周期。

排查方式:

  • 对空闲资源设置回收;
  • 训练任务可评估使用可抢占或竞价式资源;
  • 推理侧按负载弹性伸缩;
  • 对日志、检查点和对象存储设置生命周期策略。

成本优化

成本优化不是简单减少GPU,而是提高资源使用效率,并让训练、推理、存储和网络资源形成闭环。

需要说明的是,推理阶段成本高于训练阶段并不是普遍规律。它更适用于长期在线、持续高并发、低批处理、长尾请求较多的服务场景。对于短期离线推理、低频调用或可批量处理的场景,该结论并不必然成立。

常见成本优化手段包括:

  • 训练任务可以使用可抢占或竞价式资源,但前提是有可靠检查点和自动重启机制;
  • 可抢占实例可能被回收,因此需要评估任务中断风险;
  • 推理服务应根据负载自动扩缩容;
  • 对长期空闲资源设置回收策略;
  • 对存储和日志设置生命周期管理;
  • 对训练、推理、数据预处理使用不同资源池,避免相互争抢;
  • 通过配额限制避免单任务占满集群;
  • 对长稳训练和在线推理设置不同优先级。

总结与延伸

本文围绕千卡至万卡AI训练集群的真实建设流程,覆盖了算力估算、网络存储、分布式并行、推理上线、安全配置、压测验证、故障排查和成本优化。对于准备建设AI基础设施的团队来说,关键不是堆叠硬件,而是让网络、存储、训练框架、推理服务和监控体系形成闭环。

后续可以持续关注以下方向:

  • 自动并行与分布式训练框架演进;
  • 混合专家模型、稀疏模型和长上下文训练;
  • 低精度训练与推理优化;
  • 异构算力调度;
  • 通信优化与拓扑感知调度;
  • 实时推理加速与弹性伸缩;
  • 训练与推理一体化平台建设。

容器、对象存储、并行文件系统、高速网络、监控告警和弹性调度等通用基础设施能力,可以基于主流云平台或自建环境实现,但具体选型应结合团队规模、数据合规、成本预算和运维能力综合判断。

发表评论

活动