AR、Diffusion、Transformer与DiT：四个概念的维度辨析

先给一个直接的结论：这四个词之所以让人困惑，是因为它们被放在了同一张对比表里，但它们回答的其实是不同层面的问题。AR（自回归）和Diffusion（扩散）属于”生成范式”，回答的是”从随机性到目标结果，中间要经过怎样的过程”；Transformer属于”网络架构”，回答的是”用什么模型结构去拟合数据分布”；而DiT（Diffusion Transformer）属于”具体工程方案”，回答的是”扩散范式的去噪主干网到底用什么样的架构来实现”。理解了这层维度差异，后面的原理就会自然串通。

一、生成范式之一：自回归（AR）

自回归的核心思想可以用一句话概括：把”生成一个完整结果”这件事，拆解成”逐个生成下一步”。

它在数学上依托概率的链式法则。要生成一个序列 x₁, x₂, …, xₙ，AR 把整个联合分布分解为一系列条件概率的连乘：

p(x₁, x₂, ..., xₙ) = p(x₁) · p(x₂ | x₁) · p(x₃ | x₁,x₂) · ... · p(xₙ | x₁...xₙ₋₁)

每一步只关心”在已知前面所有内容的前提下，下一个单元是什么”。所以 AR 的典型形态就是”一个 token 一个 token 往外蹦”：先出第一个，把它接到输入末尾，再预测第二个，如此循环直到结束。

为什么它能成立？关键在于因果建模。训练时模型通过”因果掩码”保证第 i 个位置只能看到它前面的内容，看不到未来，从而学到”给定前文预测后文”的能力；推理时把上一次的输出重新喂回输入，形成自反馈回路。

它的优势是建模方式直接、可解释性强、天然契合顺序数据（文本、语音）。但它有两个绕不开的代价：一是生成过程本质上是串行的，第 i 步必须等第 i-1 步算完，难以在时间维度上并行加速；二是存在”误差累积”和”暴露偏差”——训练时喂的是真实前文，推理时喂的是模型自己的预测，一旦某步出错，错误会顺着链条传播下去。

二、生成范式之二：扩散（Diffusion）

如果说 AR 是”一个字一个字写”，那 Diffusion 更像是”先往画布上泼一盆墨，再慢慢擦干净”，也就是从一个充满噪声的状态，逐步恢复出清晰结果。

它的原理分两个方向。前向过程（forward）是一条固定路径：把真实数据一点点加高斯噪声，加够足够多的步数后，数据就退化成接近纯随机噪声。反向过程（reverse）才是模型要学习的东西：给定一个带噪的样本，预测”这一步该去掉多少噪声”，从而一步 denoising 就往清晰态靠近一点。

训练目标通常被简化为”预测被加入的噪声”。给定清晰图 x₀，在某一步 t 加入已知噪声 ε 得到 x_t，让模型预测出 ε，用均方误差去拟合。这样训练之所以可行，是因为模型本质上是在学习数据分布的”得分函数”（对数概率密度的梯度），它知道”从当前这个模糊点出发，往哪个方向走能更快回到真实数据所在的流形上”。

采样时，从纯噪声开始，反复调用去噪网络迭代若干步，噪声逐步被”擦”干净，最终得到生成结果。

扩散范式的优势是：它的去噪过程在空间维度上是可以并行的（一次处理整张图或整段序列的所有位置），且生成质量在高分辨率图像等场景表现突出。它的代价是采样需要多步迭代，端到端耗时往往高于单次前向，因此实际使用中常通过减少采样步数、蒸馏、缓存中间状态等工程手段来提速。

三、网络架构：Transformer

Transformer 不是一种”生成范式”，而是一种”网络架构”——它是拟合数据的工具，是”趁手的家伙”，但工具本身不决定你用哪种范式去生成。

它的核心是自注意力机制。每个位置生成三个向量：查询 Q、键 K、值 V，通过下面这个公式让序列中任意两个位置直接交互：

Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V

这一步的意义在于：任意两个位置之间的信息交互路径长度是常数级的，无论相隔多远都能一步建立联系，因此擅长捕捉长距离依赖，并且序列内所有位置可以并行计算。再加上位置编码注入顺序信息、多头注意力从多个子空间建模关系、前馈层做逐位置变换，就构成了它的完整骨架。

需要强调的是，Transformer 可以服务于不同范式：套上因果掩码、逐个 token 输出，它就成为 AR 的主干；不加因果约束、双向看全局，它就可以当作理解任务或扩散去噪的主干。所以”Transformer”和”AR/Diffusion”之间不是并列关系，而是”架构”与”范式”的支撑关系。

四、具体方案：DiT（把Transformer塞进Diffusion里）

DiT 全称 Diffusion Transformer，它精确回答了一个工程问题：扩散范式的去噪主干，能不能从传统的卷积型主干换成 Transformer？

在扩散模型早期，去噪网络普遍采用带跳跃连接的卷积式主干（如 U 型结构），因为卷积天然带有局部性、平移不变性等归纳偏置。DiT 的思路是：把输入（例如图像）切成一个个小块（patch），像处理文本 token 一样把它们嵌入成序列，然后交给 Transformer 去预测噪声。同时用”自适应层归一化”之类的机制把条件信息（类别、文本、时间步等）注入到每个模块里，控制生成方向。

它带来的关键洞察是：当把卷积的归纳偏置拿掉、换成更通用的 Transformer 后，模型规模越大、计算量越多，生成效果越好，展现出良好的可扩展性（scaling）规律。这说明架构选择会直接影响模型”能长多大、能多好”。

五、它们如何组合：一张维度表

概念	所属维度	回答的问题	典型形态
AR 自回归	生成范式	如何一步步造出结果	逐 token 顺序生成
Diffusion 扩散	生成范式	如何从噪声恢复到结果	多步迭代去噪
Transformer	网络架构	用什么结构拟合数据	自注意力堆叠
DiT	具体方案	扩散的去噪主干用什么	Transformer 做扩散主干

组合方式其实很灵活：AR 可以用 Transformer 做主干，形成”Transformer + 自回归”的主流语言模型形态；Diffusion 可以用卷积主干，也可以用 Transformer 主干，后者就是 DiT。这也解释了原文里那句”AR 和 Diffusion 不是互斥的”——它们是同一维度的两种范式选择，甚至可以组合使用（例如把扩散用于生成潜空间表示，再用自回归建模其序列）。

六、常见误区

第一个误区是把四者当竞品比较”谁更强”。正确理解是：范式之间可以对比优劣（AR 串行但建模直接，Diffusion 并行但采样慢），而架构（Transformer）与范式（AR/Diffusion）之间根本不构成对立。

第二个误区是以为 Diffusion 一定要配卷积、Transformer 只能做自回归。事实上二者的绑定关系是可以拆开的，DiT 就是”扩散 + Transformer”组合的直接证据。

第三个误区是混淆”生成范式”与”生成任务”。范式说的是生成过程的机制，任务说的是生成什么（文本、图像、音频），两者正交。

七、总结

回到原理本身：AR 与 Diffusion 是回答”如何生成”的两种范式，前者用链式法则逐单元条件生成、串行反馈，后者用前向加噪与反向去噪的多步迭代从随机态恢复结果；Transformer 是回答”用什么结构”的网络架构，靠自注意力实现位置间的高效信息交互与并行计算，可服务于任意范式；DiT 则是回答”扩散主干用什么”的具体方案，把 Transformer 嵌入扩散框架并展现出可扩展性。分清”范式—架构—方案”这三个维度，比纠结”哪个更强”更有价值：工程上真正的选择，是先定范式，再选架构，最后落到具体方案。