掩码扩散语言模型原理与并行去噪机制解析

结论先行（TL;DR）

• 去噪网络不看时间步。 掩码扩散模型（如 MDLM、LLaDA 一类实现）只输入带掩码标记的序列，时间步以损失权重形式参与训练，而不是作为网络输入。训练目标是掩码位置的词元交叉熵（负对数似然）。
• 并行是“批量评估、按置信度更新”。 每步更新多少位置，由每步解锁数与置信度阈值共同决定。它并不是所有词元同时独立定稿。
• 调度要分训练期和推理期。 训练期是掩码比例调度；推理期是逐步解锁与重掩码比例。调度或步数设置不当时，会出现恢复不充分、步数浪费，甚至位置反复翻转而不收敛。问题出在“过早锁定”时，正确的修法是增加重掩码，而不是减少步数。
• 速度优势有条件。 按前向次数粗算，理论上限约为 min(k, L)/T。其中 k 为每步解锁数，L 为序列长度，T 为去噪步数。k 不大于 T 时，速度不会超过自回归。
• 序列级正确率随长度快速下降。 近似估算下，P(序列正确) ≈ p^L：单点正确率 p = 0.95、长度 L = 50 时，约为 0.077。高准确任务必须配合约束与重排。
• 低数据优势尚无定论。 所谓“超级数据学习者”，目前缺少可复现的定量证据。模型效果仍取决于任务结构、数据质量、模型规模与推理策略。

---

一、原理概述：扩散语言模型在解决什么问题

扩散语言模型（Diffusion Language Model，dLLM）通过迭代去噪完成文本生成。自回归模型（下称 AR）是“已知前文，预测下一个词”；dLLM 则是“从被破坏的初始序列出发，经过多步去噪，逐步恢复完整序列”。

它的定位是“全局重建器”，而不是“下一个词预测器”。文本并非连续像素，词元之间存在强语法、语义和逻辑依赖。因此，dLLM 不能直接照搬图像扩散，必须在离散词元空间重新设计加噪、去噪、采样、损失函数和推理流程。

它主要回答三个问题：如何把文本序列转化为可迭代去噪的状态；如何依据上下文恢复词元；如何在批量更新的同时保持序列一致。

取舍：dLLM 的建模对象是整段序列的分布，而不是前缀条件下的下一词分布。它的优势和代价都体现在序列层面。

二、背景问题：自回归生成的瓶颈与真实边界

AR 的典型流程是：输入上下文，预测下一个词元，将结果追加到上下文，循环往复，直到生成结束。它的结构清晰、训练目标明确，在自然语言任务上非常成熟。但生成变长后，有两个问题较为突出。

1. 串行生成带来延迟累积。 AR 必须逐个词元生成，即使硬件支持大规模并行计算，每一步也依赖前一步的结果。例如生成 1000 个词元，就需要约 1000 次连续前向计算。在长文本、代码、结构化输出或智能体多轮决策等场景中，这种串行特性会带来明显的延迟压力。

2. 生成后无法回头修改。 AR 只以已生成前缀为条件，输出一旦写出，就无法回头修订。前序错误会进入上下文，影响后续预测（即曝光偏差）。补救办法通常只能是在后文追加更正，例如“更正：上面的字段名应为 X”。dLLM 可以借重掩码机制修改已写出的位置，这是它相对 AR 的主要增益来源，尤其适合需要回填、重排或先规划再展开的任务。

需要澄清的边界： AR 每一步都可以看到全部已生成前缀（借助全前缀注意力）。因此，函数名前后一致、变量定义闭合、JSON 完整、多段论述前后呼应等问题，AR 同样可以在一定程度上维持。把它们一概归为 AR 的缺陷，并不准确。此外，初稿中“针对 AR 错误传播而改进”属于 dLLM 的设计动机，并不表示 dLLM 在实践中错误一定更少。

取舍：如果任务以线性续写为主、不需要回填，AR 仍然更简单；dLLM 的增量价值主要体现在“可修改、可重规划”。

三、核心概念：迭代去噪与离散扩散

这里的“噪声”在文本中通常不是像素扰动，而是词元被掩盖、缺失或被替换。

1. 前向破坏。 训练时，系统按一定概率掩盖原始序列中的词元。常见实现有两类：

• 吸收态掩码扩散（MDLM、LLaDA 等）：把词元置为 [MASK]，只掩盖、不伪造。
• 通用离散扩散（D3PM 的均匀态扩散、SEDD 等）：在词表概率分布上扰动，可能把词元替换为其他词。

前者的损失退化为掩码位置的交叉熵，实现简单。后者用更通用的马尔可夫转移核建模，损失需要按核类型推导 ELBO，或采用得分/比率匹配（SEDD）。两类方法对“噪声”的定义和损失函数都不同，不能混为一谈。

掩码率从 0（完整）逐步升高到 1（全部掩码）。因此，高噪声对应的是最不完整、恢复难度最大的状态；生成过程从最难逐步过渡到较易。

2. 反向去噪与训练目标。 主流的掩码扩散去噪网络（MDLM、LLaDA 一类实现）只接收“带掩码标记的序列”作为输入，不接收时间步或掩码率输入。时间信息体现在两处：

• 损失权重：以连续时间变分下界推导的损失为例，时间步 t 决定每个位置被掩盖的概率，也决定该项在总损失中的权重 α_t。
• 掩码比例本身：它作为输入信息，已经隐含在序列里。

训练时，模型在每个掩码位置上输出整个词表的分布，损失是该位置的交叉熵，即 -log pθ(原词元 | 当前掩码序列)。不计权时，损失等于变分下界中的一个项，即“从掩码状态恢复干净序列”的项。可见，dLLM 学习的是“给定部分可见上下文，整条序列的合理形态”，而不是“下一个词”。所谓“扩散模型接收噪声水平”的说法，源自图像扩散中的时间步嵌入输入，不适用于掩码扩散。

3. 离散扩散不是连续插值。 词元空间无法进行连续插值加噪，只能借助转移核，在离散状态间跳转，上文两类方法正是这样做的。

取舍：实现时先确认去噪网络是否输入时间步，这会直接决定损失权重和采样调度怎么写。

四、系统组成：扩散语言模型由哪些模块构成

1. 词元表示。 文本需先切分为字、子词或字节级词元。除了普通词元，还要能表达“掩码”状态。在吸收态扩散中，[MASK] 是一个独立的特殊词元。

2. 去噪网络。 它是 dLLM 的核心，负责估计每个位置“各是什么词”的分布，其输出同时服务于两件事：选择填入哪些词元，以及选择更新哪些位置。工程上通常复用 AR 大模型的骨干结构。有的实现让去噪器接收时间步（多用于连续时间目标），掩码扩散类实现则不需要。

3. 掩码比例调度。 训练和推理各有独立的调度：

• 训练期：每个样本随机采样一个掩码率，构造不同破坏程度的状态，这相当于时间加权采样。
• 推理期：决定每步解锁多少位置，以及是否对已解锁的位置重掩码（remasking）。在每一步都重掩码同一比例的变体实现中，每步实际解码的位置数会逐点递减，接近零时模型会停在几个低置信位上，即“缓存命中”现象。

调度与步数设置不当时，会出现恢复不充分、步数浪费，或位置反复翻转而不收敛，因此两者的网格搜索需要分开进行。

4. 采样器与解码器。 两类决策分工明确：

• 置信度（如边际概率或熵）用于选择更新位置：只有超过阈值的位置才被解锁。
• 温度用于选择词元：对概率分布做温度缩放后采样。

二者混用会导致调参困难。

5. 约束与验证模块。 语法检查、括号匹配、JSON 校验、类型检查、规则模板、一致性投票和候选重排，决定了 dLLM 能否在高准确性任务中落地。

6. 推理服务要点（dLLM 特有）。

• 显存与超时：每一步都要对长度 L 的整个序列做一次前向，显存与算力随 L×T 增长。此时可在主流云厂商的通用算力与弹性伸缩能力上运行，无需自研底层设施。
• 批内步数对齐：同一批次中，不同请求的步数、长度和每步解锁数需要协调，否则快请求会被慢请求拖住。
• 质量在线降级：请求量突增时，可临时增大每步解锁数以减少步数，但要先评估其对序列级正确率的影响。

取舍：服务化重点不是堆通用组件，而是保证“每次去噪”的算力可预测。

五、工作流程：训练与推理

训练流程：

1. 准备高质量语料，包括自然语言、代码、对话和结构化数据。
2. 对每个样本采样掩码率，按该概率掩盖词元。
3. 把带掩码序列输入去噪网络。
4. 在每个掩码位置计算交叉熵损失，并按掩码率加权。
5. 反向传播并更新参数。

推理流程：

1. 构造初始状态，可以是全掩码序列，也可以是“提示词 + 掩码”。
2. 逐步去噪：去噪网络输出分布，采样器按置信度解锁位置、按温度填入词元。
3. 达到停止条件后输出，再通过约束与重排模块校验。

伪代码如下（同时标出每步解锁的位置数与停止条件）：

输入：掩码序列 X（长度 L），总步数 T，置信度阈值 τ，温度 γ
输出：完整序列 Y
剩余 = [MASK] 位置数
for t = T 到 1:
    分布 P = 去噪网络(X)                 # 输入只有 X，不含时间步
    置信度 c[i] = P[当前 X[i] 的词 | X]  # 已有词元的保留置信度
    A = { c[i] < τ 的位置 } ∪ { X[i] 为 [MASK] 的位置 }  # 待更新集合
    if A 为空: break                     # 停止条件①：全部位置可信
    对 A 中每个位置，按温度 γ 从 P 中采样新词元
    if X 在本轮更新后不再变化: break      # 停止条件②：序列稳定
    剩余 = [MASK] 位置数
    # 每步解锁数 = 本轮写入词元的 [MASK] 位置数（≥0）
    # 末轮若剩余 > 0，对剩余 [MASK] 位置强制解码（或重试）
返回 Y = X

取舍：解锁的数量与时机，本质上是在“质量”和“步数”之间做取舍。

六、关键机制：并行边界、效率账本与数据效率

1. 迭代去噪为什么成立

语言序列有很强的规律性，即使部分词元缺失，上下文也能提供约束。例如“今天天气很__，适合出门散步”，即使“好”被掩盖，也能从上下文恢复出来。从概率建模的角度看，dLLM 学习的是：给定当前部分序列时，完整序列的分布。因此，生成不再是逐词延伸，而是全局推断。

2. 并行生成的本质：批量评估，而非完全独立

更准确的说法是：每一步可以同时评估多个位置，并按置信度解锁其中的一部分。词元之间存在依赖，完全独立地更新可能破坏局部一致性。实际系统常配合以下策略：只解锁高置信位置；先恢复稳定的结构词元；对更新后的序列做局部一致性检查；用多轮迭代纠正错误。dLLM 的并行性来自“批量计算、批量评估”，而不是无依赖生成。

3. 效率账本：推理为什么不一定更快

下式中，N 为参数规模，FLOPs 为浮点运算次数。

• 自回归（AR）： 每步只算 1 个新词元，约 2N 次乘加；生成 L 个词元约需 L 步、共约 2NL 次。
• 扩散（dLLM）： 每步都要对整个长度 L 的序列做一次前向，约 2NL 次；T 步共约 2NLT 次。
• 计算量对比： 当 dLLM 每步平均解锁 k 个位置（k ≤ L）时，同样的总计算量下，dLLM 的步数约为 T = L/k。此时算力开销与 AR 相当，但速度能否提升，取决于并行能缩短多少时间。
• 速度上限： 去掉依赖后，t 时刻的第 i 个位置和第 j 个位置互不依赖，所有解锁步骤的耗时之和构成理论下界，并受每步固定开销约束。由此得到：加速比 ≤ L / (T + C)，其中 C 为并行无法缩短的固定开销（如启动与调度）。又因为平均解锁数 k ≤ L/T，所以加速比 ≤ min(k, L)/T。这意味着：
  • k 不大于 T 时，速度不会超过 AR；
  • 只有 k 明显大于 T 时（即每步批量解锁很多位置、总步数很少），才可能明显更快。
• 实际折扣： 大矩阵运算下，算力不足的卡上，速度增益会打折。而注意力随长度呈二次增长，小批量下 AR 每步还受显存带宽限制，此时 k 增大带来的收益更接近理论上限。

除模型本身外，dLLM 还要为置信度计算、候选排序、冲突检测、约束解码和候选重排付出额外延迟和显存开销。

4. 自回归与扩散语言模型对比

维度	自回归模型（AR）	扩散语言模型（dLLM）
生成顺序	从左到右逐词元	从破坏状态多步去噪，批量解锁
已输出内容可否修改	不可回填，只能续写更正	可通过重掩码修改
每步计算量	约 2N（增量前向）	约 2NL（全序列前向）
总计算量	约 2NL	约 2NLT
延迟主因	串行步数 L、显存带宽	步数 T、每步全序列成本、约束解码
吞吐主因	批内长度不齐、KV 缓存占用	批内步数/长度不齐、激活显存
错误传播	前缀错误进入上下文并被沿用	多轮迭代可修正，但过早锁定会固化错误
数据效率	以局部下一词预测为主	低数据优势尚有争议（尚无定论）
更适合的场景	线性续写、对话、流式输出	需回填、重排或先规划的任务，结构化生成

折中部署：分块半自回归。 把序列切成若干块，块内并行去噪，块与块之间按顺序生成。这样既保留局部并行，又能复用前缀的 KV 缓存，是目前工程上较常用的折中路线，代表性工作如 Block Diffusion。

5. 数据效率：“超级数据学习者”需要谨慎看待

有研究观察到，在部分条件下，dLLM 在少量数据或多轮训练后，泛化效果可能优于同规模的 AR 模型。其解释是训练目标不同：AR 主要学习局部下一词预测，dLLM 学习全局序列恢复；数据有限时，后者可能更充分地利用上下文结构。还有研究提出了“交叉点”现象：随数据量和训练条件变化，两类模型的相对优劣可能发生切换。至于在何种数据量、模型规模、评测集和训练配置下成立，现有公开材料尚不足以形成可复现的定量结论。因此本文将其视为“有条件成立、尚无定论”的观察，而非普适优势。

6. 词元级正确率与序列级正确率

设单点生成正确概率为 p、长度为 L，近似估算整段全部正确的概率为：

P(序列正确) ≈ p^L

例如 p = 0.95 时，L = 10 约为 0.60，L = 50 约为 0.077。dLLM 的多轮去噪和重排能纠正部分错误，但 p^L 仍说明：词元级准确率无法反映错误传播和格式约束的影响。对代码、数学和结构化输出而言，一个错误的变量名或缺失的括号，都可能让整段结果不可用。

取舍：先量出任务的 L、k、T 与序列级正确率门槛，再判断 dLLM 是否划算。

七、示例说明：dLLM 如何生成代码片段

def add(a, b):
    return a + b

dLLM 的推理过程可抽象为：

1. 初始化，模型看到部分结构：def ____(____, ____): 与 ____ ____ + ____。
2. 依据代码语法与常见模式，推断应生成 add、a、b、return。
3. 多步恢复，先锁定高置信的结构词元，再补全变量名与表达式；低置信位置可在后续步骤被重掩码并重写。
4. 校验缩进、括号、冒号与类型一致性。
5. 输出最终代码。

可见，dLLM 可以先确定全局结构，再细化局部内容。但仅凭概率生成并不够，必须配合语法检查与约束解码。

八、结论与落地检查清单

dLLM 把文本生成从“逐词串行预测”转变为“全局序列迭代去噪”。它的潜力在于批量更新、全局约束和多轮修正，挑战在于步数、全序列前向的算力、序列级正确性和工程成本。判断它是否适用，可以回答以下问题：

1. 任务是否需要回填、重排或先规划再展开？不需要时，AR 更简单。
2. 可接受的延迟是多少？先按 min(k, L)/T 估算速度上限，并计入约束解码开销。
3. 序列级正确率门槛是多少？校验、投票和重排是否已就位？
4. 输出是否需要流式返回？需要时优先考虑 AR 或分块半自回归。
5. 相同前缀的重复请求有多少？缓存收益是否足以抵消失效时重算的成本？
6. 低数据场景是否把“超级数据学习者”当作卖点？如果是，先做小规模对照实验验证，再上线。

九、常见问题（FAQ）

Q1：去噪步数 T 怎么定？ 可从 T ≈ L/k 起步，再逐步增大，观察序列级指标的边际收益。步数增加主要改善局部质量和一致性，对结构错误帮助有限。

Q2：置信度阈值 τ 怎么调？ τ 越高，每步解锁越少、序列更稳，但步数更多；τ 越低，则更快、更易出错。可在固定 L 和 T 下扫描 τ，记录“步数—序列通过率”曲线，选拐点。

Q3：温度 γ 影响什么？ 温度只改变填入哪些词元，不改变更新哪些位置。需要稳定输出时，应降低温度或改用贪心解码。

Q4：缓存什么时候失效？ 相同前缀、相同任务可以复用提示词的 KV 缓存；前缀一变、或从 AR 切换到 dLLM 时，缓存即失效。另外，重掩码调度中每步解锁数接近零时会出现“缓存命中”，即位置反复翻转而不收敛，应调整调度或步数。

Q5：什么时候不该用 dLLM？ 在以下场景中，AR 或 AR 为主、局部并行的方案通常更合适：短序列；要求流式输出；低延迟在线服务；算力受限、无法承担 T 次全序列前向；任务以线性续写为主，且词元级准确率已能满足要求。

参考与延伸阅读

以下按主题归类，未逐篇核对版本细节：

• 掩码扩散基础：MDLM（Shi 等，2024，arXiv:2406.07524）；LLaDA（Nie 等，2025，arXiv:2502.09992）。
• 离散扩散变体：D3PM（Austin 等，2021）；SEDD（Lou 等，2024）；UDD（Ou 等，2024）。
• 自回归与扩散折中：Block Diffusion（Arriola 等，2025）。
• 数据效率与“交叉点”：来自部分论文报告的实验观察，具体数据规模、评测集与训练配置尚不足以形成可复现的定量结论，本文按“尚无定论”处理。