logo

331亿参数DiT多卡部署:显存、加载与排错

作者:搬砖的石头2026.11.18 11:23浏览量:0

简介:本文面向推理工程师,说明331亿参数稠密DiT模型在多卡GPU上的部署流程。内容覆盖显存估算与并行选型、权重校验、组件加载与分片、双路输入与3D-RoPE、采样与VAE解码,并给出形状断言、OOM排查命令和产物清单。读完可按步骤完成可复现部署,显存不足时也能定位原因。

一、适用范围

本文面向在自有GPU集群上做推理部署的工程师。阅读前需要熟悉PyTorch的张量操作,并了解多卡并行的基本概念。本文不涉及模型训练,也不适用于单张消费级显卡。

文中的层数、隐藏维度、下采样倍数、patch大小等结构参数,都以你手中模型的config文件为准。代码里的这些数值只是占位示例,运行前需要替换。

本文的目标是让你在自己的环境中得到可复现的推理结果。第八节列出了每次部署需要保存的内容。

二、显存估算与并行选型

权重显存的估算公式如下:

权重显存(GB)= 参数量 × 每参数字节数 ÷ 分片数

331亿参数(33.1B)在BF16下每个参数占2字节,完整权重约66.2GB(约61.6GiB)。FP8每个参数占1字节,约33.1GB。

  1. def estimate_weight_gb(params_b: float, bytes_per_param: int, shards: int) -> float:
  2. """返回每个分片的权重显存,单位为十进制GB。"""
  3. return params_b * 1e9 * bytes_per_param / shards / 1e9
  4. cases = [("BF16 单卡", 2, 1), ("BF16 TP=2", 2, 2), ("BF16 TP=4", 2, 4), ("FP8 单卡", 1, 1)]
  5. for name, nbytes, shards in cases:
  6. print(f"{name}: {estimate_weight_gb(33.1, nbytes, shards):.2f} GB")

脚本输出约为66.20、33.10、16.55和33.10。这些是理论值,未包含embedding、归一化层等不切分的部分,实际每卡会略高。

单卡峰值可以按下式粗略估算:

峰值 ≈ DiT权重分片 + 文本编码器权重 + VAE权重 + 激活峰值 + 通信缓冲 + 框架与碎片开销

框架与碎片开销通常按总显存的10%到20%预留。激活峰值取决于分辨率、序列长度、batch size和注意力实现。通信缓冲取决于并行方式。本文没有给出激活峰值的通用数字,需要在目标分辨率下实测。

方案 权重精度 并行方式 每卡DiT权重(理论值) 建议配置 主要风险
两卡张量并行 BF16 TP=2 约33.1GB 2卡DiT,另加1张卡放文本编码器和VAE 每层前向都需跨卡通信,依赖卡间带宽
四卡张量并行 BF16 TP=4 约16.6GB 4×48GB或更大,为激活留出余量 通信次数更多,单步耗时取决于互联方式
单卡量化 FP8 无 约33.1GB 单卡80GB,激活余量有限 算子支持与精度需实测

张量并行能降低单卡权重,但卡数越多,跨卡通信越频繁。选型时要同时比较单步耗时和峰值显存,不能只看权重大小。

文本编码器和VAE应放在独立的卡上,与DiT分片错开,避免加载峰值叠加。如果卡数不足,只能与DiT共存,就必须按”分片加编码器加VAE”的总量实测峰值。

FP8的可用性取决于硬件和算子库。上线前,应在同一组输入上对比FP8与BF16的输出差异,并记录差异指标。

三、环境矩阵与权重校验

部署前先确定以下版本,并填入部署配置。版本组合应以各组件的官方发布说明为准,本文不指定具体组合。

组件 版本 验证命令 备注
Python 3.10及以上 python --version 与PyTorch发布版本匹配
驱动 填写 nvidia-smi 需满足CUDA运行时要求
PyTorch 填写 python -c "import torch;print(torch.__version__)" 记录完整版本号
CUDA(PyTorch编译版本) 填写 python -c "import torch;print(torch.version.cuda)" 与驱动版本兼容
FlashAttention 可选 python -c "import flash_attn;print(flash_attn.__version__)" 需与PyTorch和CUDA严格对应
SDPA(PyTorch内置) 随PyTorch python -c "import torch.nn.functional as F;print(hasattr(F,'scaled_dot_product_attention'))" 输出为True即可用

FlashAttention安装失败时,把注意力实现切换为PyTorch内置的SDPA。功能不受影响,速度可能变慢。切换后应重新验证第八节的一致性检查。

三套权重分别是DiT主干、多模态文本编码器和图像VAE。每套权重都应附带自己的config文件,并记录sha256:

  1. sha256sum /models/dit_backbone/*.safetensors
  2. sha256sum /models/mm_text_encoder/*.safetensors
  3. sha256sum /models/image_vae/*.safetensors

路径含空格时要加引号。如果路径来自外部输入,应先做白名单检查,再拼接到命令中。

版本号和sha256都要写入部署配置。任何一项变化都视为新版本,需要重新执行第八节的验证。

四、组件加载与张量并行切分

加载前先固定三个组件之间的接口。下表是各组件的输入输出契约,框架函数必须满足这些契约。

组件 输入 输出 设备 dtype
文本编码器 token ids (B, Lt),attention mask (B, Lt) 文本隐状态 (B, Lt, D) 编码器专用卡 BF16
VAE编码器 参考图像 (B, 3, H, W),取值范围与VAE一致 参考潜变量 (B, Cz, H/s, W/s) 编码器专用卡 BF16
DiT分片 序列 (B, L, D),mask (B, L),timestep,位置ids (L, 3) 预测 (B, Lz, Cz) 各DiT卡 BF16
VAE解码器 潜变量 (B, Cz, h, w) 图像 (B, 3, h×s, w×s) 编码器专用卡 BF16

其中s为VAE下采样倍数,D、Cz、Lz等符号均以config为准。

加载代码的骨架如下。框架相关的函数需要替换为你所用框架的实际接口,本文不假设具体框架。

  1. import json
  2. import torch
  3. DTYPE = torch.bfloat16
  4. with open("/models/dit_backbone/config.json", encoding="utf-8") as f:
  5. CFG = json.load(f)
  6. NUM_LAYERS = CFG["num_layers"]
  7. HIDDEN = CFG["hidden_size"]
  8. TP_SIZE = 2
  9. DIT_DEVICES = [f"cuda:{i}" for i in range(TP_SIZE)]
  10. ENC_DEVICE = f"cuda:{TP_SIZE}"
  11. def load_dit_shard(path: str, tp_rank: int, tp_size: int, dtype: torch.dtype, device: str) -> torch.nn.Module:
  12. """框架相关:读取第 tp_rank 个分片,返回已位于 device 上的模块。"""
  13. raise NotImplementedError("替换为你的框架加载接口")
  14. def weight_bytes(module: torch.nn.Module) -> int:
  15. return sum(p.numel() * p.element_size() for p in module.parameters())
  16. def check_shard(module: torch.nn.Module, device: str) -> None:
  17. target = torch.device(device)
  18. bad = [n for n, p in module.named_parameters() if p.device != target or p.dtype != DTYPE]
  19. assert not bad, f"以下参数设备或dtype不符合要求: {bad[:5]}"
  20. print(f"{device}: 权重 {weight_bytes(module) / 2**30:.2f} GiB,设备与dtype检查通过")

加载顺序建议为:先加载文本编码器和VAE,确认它们的峰值显存后,再加载DiT分片。每加载一个组件,都调用一次check_shard或等价检查。

张量并行切分的要点是:每个切分维度必须能被TP_SIZE整除。切分前应做一次整除检查:

  1. def check_tp_divisible(hidden: int, heads: int, tp_size: int) -> None:
  2. assert heads % tp_size == 0, f"注意力头数 {heads} 无法被 TP={tp_size} 整除"
  3. assert hidden % tp_size == 0, f"隐藏维度 {hidden} 无法被 TP={tp_size} 整除"

如果不能整除,应更换TP_SIZE,而不是强行切分。

五、双路输入、序列打包与3D-RoPE

模型在同一序列中处理三类token,顺序为:文本token、参考图token、目标潜变量token。总长度为:

L = Lt + Lr + Lz

以下数字只是算术示例。假设目标图像为1024×1024,VAE下采样倍数为8,patch大小为2,则潜变量为128×128,经patch后得到64×64 = 4096个目标token。真实的下采样倍数和patch大小以config为准。

下面的函数在拼接前检查三路输入的形状,并确认attention mask与拼接后的序列长度一致:

  1. import torch
  2. def assert_sequence_layout(text_h, ref_h, latent_h, attn_mask, hidden_size: int) -> int:
  3. """text_h: (B, Lt, D);ref_h: (B, Lr, D);latent_h: (B, Lz, D);attn_mask: (B, L)。返回 L。"""
  4. for name, h in (("text", text_h), ("ref", ref_h), ("latent", latent_h)):
  5. assert h.dim() == 3, f"{name} 必须是三维张量 (B, L, D),实际 {tuple(h.shape)}"
  6. assert h.shape[-1] == hidden_size, f"{name} 的通道数 {h.shape[-1]} 与 hidden_size {hidden_size} 不一致"
  7. B = latent_h.shape[0]
  8. assert text_h.shape[0] == B and ref_h.shape[0] == B, "三路输入的 batch 维不一致"
  9. L = text_h.shape[1] + ref_h.shape[1] + latent_h.shape[1]
  10. assert attn_mask.shape == (B, L), f"attn_mask 形状应为 {(B, L)},实际 {tuple(attn_mask.shape)}"
  11. assert attn_mask.dtype == torch.bool, "attn_mask 必须为 bool 类型"
  12. return L
  13. if __name__ == "__main__":
  14. B, Lt, Lr, Lz, D = 2, 77, 256, 4096, 64
  15. text_h = torch.randn(B, Lt, D)
  16. ref_h = torch.randn(B, Lr, D)
  17. latent_h = torch.randn(B, Lz, D)
  18. mask = torch.ones(B, Lt + Lr + Lz, dtype=torch.bool)
  19. print("总序列长度:", assert_sequence_layout(text_h, ref_h, latent_h, mask, hidden_size=D))

拼接的写法为x = torch.cat([text_h, ref_h, latent_h], dim=1)。拼接后应立即再次检查x.shape。

序列打包的情况分两种。若批内样本长度不同,通常先补齐到最大长度,再用mask屏蔽补位。若使用变长注意力内核,则需要累积长度数组cu_seqlens,并确认其末尾等于总token数:

  1. def check_cu_seqlens(lengths: torch.Tensor) -> torch.Tensor:
  2. cu = torch.nn.functional.pad(torch.cumsum(lengths, dim=0), (1, 0))
  3. assert cu[-1].item() == lengths.sum().item(), "cu_seqlens 末尾与总长度不一致"
  4. return cu

3D-RoPE为每个token提供一个三元组位置(t, h, w)。检查项包括以下几条:

  1. 位置ids的形状必须为(L, 3),dtype为整数。
  2. 参与旋转的维度由config中的分段数给出。若分段数之和的两倍不等于head_dim,RoPE会出错。
  3. 参考图与目标图的t坐标必须错开,否则两路token会在位置上重叠。文本token的h、w坐标按config的约定处理。
  1. def check_rope(head_dim: int, sections: list[int], pos_ids: torch.Tensor, L: int) -> None:
  2. assert sum(sections) * 2 == head_dim, f"RoPE 分段 {sections} 与 head_dim {head_dim} 不匹配"
  3. assert pos_ids.shape == (L, 3), f"位置ids形状应为 {(L, 3)},实际 {tuple(pos_ids.shape)}"
  4. assert not pos_ids.is_floating_point(), "位置ids应为整数类型"

六、采样推理与VAE解码

采样前确认以下参数,并把它们写入部署配置。

参数 含义 取值要求 说明
num_steps 采样步数 以config或官方示例为准 耗时与步数大致成正比
guidance_scale 引导强度 以官方示例为准 影响对文本和参考图的遵循程度
seed 随机种子 固定整数 写入日志,用于复现
height、width 输出分辨率 需为下采样倍数与patch大小乘积的整数倍 决定目标token数量
dtype 计算精度 BF16 与权重精度保持一致

采样循环的骨架如下。scheduler的接口需要与所用采样器的官方实现一致。

  1. @torch.no_grad()
  2. def sample_latent(dit, latent, timesteps, cond_inputs, uncond_inputs, guidance_scale, scheduler):
  3. """latent: (B, Cz, h, w)。cond_inputs 与 uncond_inputs 为 DiT 所需的输入字典,由第五节的函数构造。"""
  4. for t in timesteps:
  5. pred_cond = dit(latent, t, **cond_inputs)
  6. if guidance_scale != 1.0:
  7. pred_uncond = dit(latent, t, **uncond_inputs)
  8. pred = pred_uncond + guidance_scale * (pred_cond - pred_uncond)
  9. else:
  10. pred = pred_cond
  11. latent = scheduler.step(pred, t, latent) # 接口以采样器为准
  12. assert latent.dtype == DTYPE, f"采样结束时 dtype 为 {latent.dtype},应为 {DTYPE}"
  13. return latent

采样结束后,先检查潜变量形状,再交给VAE解码:

  1. @torch.no_grad()
  2. def decode_latent(vae, latent: torch.Tensor, expected_hw: tuple[int, int]) -> torch.Tensor:
  3. image = vae.decode(latent) # 接口以框架为准;若VAE要求缩放或平移,按config处理
  4. assert image.dim() == 4 and image.shape[1] == 3, f"输出应为 (B, 3, H, W),实际 {tuple(image.shape)}"
  5. assert tuple(image.shape[-2:]) == expected_hw, f"输出分辨率 {tuple(image.shape[-2:])} 与期望 {expected_hw} 不一致"
  6. return image

VAE解码阶段的显存峰值常高于采样阶段,因为高分辨率特征图会一次性展开。若框架支持分块或切片解码,应在高分辨率时开启,并记录开启与否。

七、OOM排查

OOM通常出现在三个阶段:权重加载、采样中途、VAE解码。排查时先确定阶段,再按顺序检查。

先查看整机显存占用:

  1. nvidia-smi --query-gpu=index,name,memory.used,memory.total --format=csv
  2. watch -n 1 nvidia-smi

在Python中查看当前进程的显存分配情况:

```python
import torch

def report_

发表评论

活动