视频生成模型的扩散Transformer架构原理

本文讨论的技术原理，是“大规模扩散Transformer（DiT）如何把一段文本描述转换为连贯视频”。它要回答的核心问题是：为什么把扩散过程与Transformer主干结合之后，模型能够在时间维度上保持一致性，并在较长序列上稳定输出。理解这条机制链路，对评估生成质量、推理成本与工程边界都有直接价值。

一、原理概述：两个体系的拼接

视频生成模型的底层可以拆成两个成熟体系的组合：

• 扩散模型负责“如何从噪声中逐步恢复出数据”。它定义一个前向加噪过程，把真实数据逐步破坏为近似高斯噪声；再训练一个网络学习反向去噪，从纯噪声出发，多步迭代还原出样本。
• Transformer负责“如何在长序列上建立依赖关系”。它通过自注意力机制，让序列中任意两个位置直接交互，而不受卷积感受野的局部限制。

DiT 的本质是：用Transformer替换传统扩散模型中常用的U-Net主干，把图像或视频的潜变量切分为 token 序列，让扩散的去噪过程在 token 空间内完成。视频场景下，token 序列同时包含空间维度和时间维度，因此注意力需要建模的是“时空联合依赖”。

二、背景问题：为什么需要这种架构

传统基于卷积的U-Net主干在图像生成上表现良好，但迁移到视频时面临三个结构性困难：

1. 长程依赖建模不足。卷积的感受野是逐层扩大的，视频中相隔较远的帧之间要建立对应关系，需要很深的网络堆叠，信息传递效率低。
2. 时空耦合不灵活。视频既有帧内空间结构，又有帧间运动关系。卷积核难以显式区分这两种依赖，容易在运动剧烈处产生闪烁或形变。
3. 规模化扩展不平滑。Transformer 在参数量、数据量与效果之间呈现较可预测的缩放关系，而卷积主干的扩展曲线更依赖结构调优。

DiT 的思路正是针对这三点：用注意力直接建模任意位置间的关联，用显式的时空切分表达两类依赖，并借助Transformer的可扩展性支撑更大参数量。

三、核心概念

理解该原理前，需要掌握四个基础概念：

• 潜空间（Latent Space）：直接在像素上做扩散计算量过大。通常先用一个自编码器把视频压缩到低维潜空间，扩散过程在潜空间进行，最后再解码回像素。这大幅降低了序列长度与算力需求。
• Patchify（切块化）：把潜空间特征图按固定窗口切分成小块，每块线性映射为一个 token，从而把二维或三维特征转成Transformer可处理的序列。
• 位置编码：注意力本身对顺序不敏感，必须注入位置信息。视频需要同时编码空间位置与时间位置，常见做法是分别生成空间与时间的位置嵌入再组合。
• 去噪步与采样器：扩散推理不是一步完成，而是从纯噪声开始，按调度表逐步去噪。步数、噪声调度策略直接影响质量与耗时。

四、系统组成

从数据流角度看，该系统可拆为五层：

层级	关键组件	职责
接入层	请求解析、参数校验	接收文本提示、分辨率、时长、随机种子等参数
编码层	文本编码器	把提示词映射为语义向量序列，作为条件输入
主干层	DiT 块堆叠	在 token 序列上执行时空注意力与前馈计算，预测噪声
采样层	调度器、采样器	控制去噪步序，迭代更新潜变量
解码层	潜空间解码器	把去噪完成的潜变量还原为视频帧

主干层内部的 DiT 块通常包含：层归一化、自注意力、条件注入模块、前馈网络与残差连接。条件注入是把文本语义与时间步信息融入每个块的关键环节，常见做法是采用自适应归一化，用条件向量调制归一化参数。

五、工作流程

完整链路可按以下步骤描述：

第一步：文本编码。 提示词经文本编码器得到语义向量序列，同时时间步被映射为时间嵌入。两者共同构成条件信号。

第二步：潜空间初始化。 推理时从标准高斯噪声采样一个与目标视频同形状的潜变量张量；训练时则对真实视频的潜变量按调度表加噪。

第三步：切块与序列化。 潜变量被切分为 token，并叠加空间与时间位置编码，形成长度较长的输入序列。

第四步：迭代去噪。 每个去噪步中，DiT 接收当前带噪潜变量、时间步与文本条件，输出对噪声的预测；采样器据此更新潜变量，使其向更清晰的方向移动。该过程重复若干步。

第五步：解码还原。 最终潜变量经解码器还原为像素视频，再经过后处理返回结果。

用简化伪代码表达主干计算：

for t in reversed(schedule):
    cond = fuse(text_embed, time_embed(t))
    tokens = patchify(latent) + pos_embed_spatial + pos_embed_temporal
    for block in dit_blocks:
        tokens = tokens + attn(norm(tokens), cond)
        tokens = tokens + mlp(norm(tokens), cond)
    noise_pred = head(tokens)
    latent = sampler_step(latent, noise_pred, t)
video = decode(latent)

六、关键机制

时空注意力的分工。 若对全部 token 做全局注意力，序列长度随帧数线性增长，计算量呈平方级膨胀。常见优化是把注意力拆为空间注意力与时间注意力交替执行：前者在同一帧内建模结构，后者在相同空间位置上跨帧建模运动。这样既保留两类依赖，又把复杂度控制在可接受范围。

条件注入。 文本条件若只在输入端拼接一次，深层网络中语义会被稀释。自适应归一化在每个块内用条件向量调制特征，使文本语义在全网络持续生效，这是提示词遵循度的关键来源。

显存与批处理。 长序列注意力的显存占用高，工程上常用梯度检查点、分块计算、混合精度等机制降低峰值占用；推理侧则通过批处理提升吞吐，但批大小受显存约束，需要在延迟与吞吐间权衡。

采样步数与质量的权衡。 步数越多，去噪越充分，但耗时线性增加。蒸馏类方法可以把多步压缩为少步，代价是细节多样性的轻微损失。这属于典型的“质量—成本”边界设计。

七、技术优势与限制

优势方面：注意力机制带来更强的长程建模能力，有利于运动连贯性；Transformer 结构便于参数规模化；潜空间扩散显著降低算力门槛。

限制方面：长序列的注意力计算仍是主要成本瓶颈；视频一致性在快速运动、遮挡、多物体交互场景下仍可能出现漂移；文本到视频的语义对齐依赖编码器能力，复杂提示容易丢失细节；生成长度受显存与训练分布约束，超出训练时长的外推效果有限。

八、常见误区

• 误区一：以为是“一次生成”。 实际上是多步迭代去噪，步数是主要耗时来源。
• 误区二：把 patch 当成独立图像块。 patch 只是序列化的手段，注意力会跨 patch 交互，不能孤立理解。
• 误区三：认为参数量越大越好。 效果还受数据质量、时空切分方式、条件注入设计共同影响。
• 误区四：忽略潜空间解码的损失。 压缩与还原本身会引入细节损失，端到端质量并非只由主干决定。

九、总结

大规模扩散Transformer的核心机制可以归纳为：在压缩后的潜空间中，用切块序列化把视频转成 token，用时空注意力分别建模结构与运动，用条件注入持续传递文本语义，再通过多步去噪采样与解码还原完成生成。它的价值来自注意力对长程依赖的直接建模与Transformer的可扩展性，其边界则来自序列长度的平方级成本、采样步数的时间开销以及语义对齐的精度上限。理解这条链路，有助于在实践中有针对性地调优提示词、步数与分辨率，并对生成结果的稳定性形成合理预期。