2小时读懂扩散模型:图解原理与数学推导
作者:起个名字好难2026.11.18 11:34浏览量:1简介:本文从前向加噪与反向去噪两个过程入手,解释扩散模型为何能从随机噪声生成真实数据。内容涵盖马尔可夫链、噪声调度、重参数化和训练目标,并给出通用伪代码与常见误区,帮助读者建立对其数学原理的完整认识。
一、原理概述
扩散模型是一类生成模型。它把数据生成看作逐步去噪的过程。其思路分两步:先定义一个把数据逐渐破坏成随机噪声的前向过程;再训练一个神经网络学习这个过程的逆过程。推理时,模型从纯高斯噪声出发,逐步去除噪声,最终还原出符合训练数据分布的样本。
本文讨论三个问题。第一,为什么“先加噪、再去噪”的机制能够生成高质量样本。第二,训练和采样时,各模块如何分工与协作。第三,该机制的适用范围和主要局限是什么。
二、背景问题
生成模型的目标是学习数据的概率分布 p(x),并能从该分布中采样。常见路线包括变分自编码器、生成对抗网络、自回归模型和基于流的模型。这些方法在训练稳定性、样本质量、采样速度和似然计算方面各有取舍。
扩散模型要解决的核心难点是:如何用一个结构简单、优化稳定的训练目标,学习高维且复杂的数据分布。直接从噪声一步映射到真实图像,需要网络同时完成大幅度的结构重建,难度很高。扩散模型的做法是把这个困难任务拆成很多小步。每一步只去掉少量噪声,逆向的单步变化幅度小,可以用高斯分布近似。这一近似是整个方法成立的前提。
三、核心概念
3.1 马尔可夫链
马尔可夫链指当前状态只依赖上一个状态的随机序列。扩散模型的前向过程是一条马尔可夫链:x_0 表示原始数据,x_1 到 x_T 表示逐步加噪后的中间状态,x_T 接近标准高斯噪声。每一步的状态只由前一步决定,这让每一步的条件分布可以单独定义和计算。
3.2 高斯噪声与条件分布
高斯分布由均值和方差完全决定,具有良好的解析性质。在前向过程中,每一步加入的噪声服从高斯分布,因此从 x_{t-1} 到 x_t 的转移也是高斯分布。逆向过程中,如果单步步长足够小,真实的后验分布同样近似为高斯分布,网络只需要预测其均值,方差可以事先设定或同样估计。
3.3 噪声调度
噪声调度(noise schedule)指每一步加入噪声的强度序列 β_1, β_2, …, β_T。β_t 取值一般为很小的正数,并随 t 增大而逐步变化。调度决定了信号衰减的速度。衰减太快,中间步骤信息损失过大,模型难以学习精细的逆过程;衰减太慢,则需要更多步数才能到达纯噪声,训练和采样成本都会增加。
3.4 重参数化技巧
重参数化技巧把随机变量写成“确定性函数加独立噪声”的形式,使梯度可以穿过采样操作反向传播。扩散模型借助这一技巧,把中间状态 x_t 直接表示为原始数据与噪声的线性组合,从而避免逐步采样带来的计算开销。
四、系统组成
扩散模型的训练与推理可以拆成以下几个模块。
| 模块 | 职责 | 输入 | 输出 |
|---|---|---|---|
| 前向加噪模块 | 按噪声调度将数据逐步破坏 | 原始数据 x_0,时间步 t | 带噪样本 x_t |
| 去噪网络 | 预测每一步加入的噪声或对应的去噪方向 | 带噪样本 x_t,时间步 t,可选条件信息 | 预测噪声 eps_θ |
| 噪声调度器 | 提供各时间步的系数 alpha_t、alpha_bar_t | 时间步 t | 系数值 |
| 训练目标模块 | 计算预测噪声与真实噪声之间的误差 | 真实噪声,预测噪声 | 损失值 |
| 采样器 | 从纯噪声出发,按反向公式逐步生成样本 | 初始噪声,去噪网络,调度器 | 生成样本 x_0 |
去噪网络通常采用编码器-解码器结构,并加入跳跃连接,以保留不同尺度的细节信息。时间步 t 通过位置编码或嵌入向量注入网络,使同一个网络能够处理所有噪声水平。
五、工作流程
5.1 前向过程
前向过程按以下规则执行。
- 设定总步数 T 和噪声调度 β_1 到 β_T。
- 记 alpha_t = 1 - β_t,alpha_bar_t 为 alpha_1 到 alpha_t 的累乘。
- 每一步按如下公式生成带噪样本:xt = 根号(1 - β_t) × x{t-1} + 根号(β_t) × eps,其中 eps 服从标准正态分布。
实际计算中,不需要逐步迭代。由于高斯分布的可加性,可以直接从 x_0 采样任意时刻的 x_t:
x_t = 根号(alpha_bar_t) × x_0 + 根号(1 - alpha_bar_t) × eps
这个闭式表达使训练时可以随机抽取时间步 t,一次性得到对应的带噪样本,大幅降低计算成本。
5.2 训练阶段
训练阶段的流程如下。
- 从训练集中取一批原始数据 x_0。
- 对每个样本随机抽取时间步 t,通常在 1 到 T 之间均匀采样。
- 采样标准噪声 eps,并按闭式公式计算 x_t。
- 将 xt 与 t 输入去噪网络,得到预测噪声 epsθ(x_t, t)。
- 计算预测噪声与真实噪声的均方误差,并通过反向传播更新网络参数。
训练过程并不要求网络一次学会完整的生成路径。每个时间步都独立提供一个监督信号,网络在大量时间步上的经验共同构成了完整的去噪能力。
5.3 推理采样阶段
推理时,采样器按反向顺序执行。
- 从标准高斯分布采样初始状态 x_T。
- 对 t 从 T 递减到 1,执行以下操作:
a. 用去噪网络预测当前噪声 eps_θ(x_t, t)。
b. 按反向公式计算均值,并在 t > 1 时加入少量新的随机噪声。 - 输出 x_0 作为生成结果。
反向单步的均值计算公式为:
μ = 1/根号(alphat) × (x_t - (beta_t / 根号(1 - alpha_bar_t)) × epsθ(x_t, t))
随机项的标准差由调度决定。去除噪声的过程由网络的预测引导,而随机项保证生成样本的多样性。
六、关键机制
6.1 为什么逐步去噪更容易学习
每一步的去噪任务只需要还原很小的噪声差异,网络面对的是一个局部修正问题。相比之下,直接从纯噪声生成完整样本需要模型同时决定全局结构和局部细节,搜索空间极大。逐步进行时,高层结构在早期步骤中逐渐显现,细节在后期步骤中逐渐补充,整体任务被分解为多个难度较低的子任务。
6.2 训练目标如何简化
扩散模型的原始训练目标来自变分下界(ELBO)。它由若干项 KL 散度组成,每一项比较真实后验与模型预测的分布。直接优化这些项需要复杂的计算。通过重参数化,每一项 KL 散度可以转化为预测噪声与真实噪声之间的加权均方误差。实践中,许多方法会忽略各步的权重,直接使用未加权的均方误差作为训练损失:
L = E[ || eps - eps_θ(x_t, t) ||² ]
这一简化损失函数实现简单,训练稳定。它能有效工作,是因为预测噪声等价于估计数据分布的得分函数,即对数概率密度的梯度方向。网络学会朝数据密度较高的方向修正样本,生成过程因此趋向于训练数据的分布。
6.3 预测噪声与预测数据的等价性
去噪网络可以输出不同形式的目标,包括预测噪声、预测原始数据,或预测速度向量。三者在数学上可以互相换算,只是在不同噪声水平下的数值稳定性和训练效果略有差异。预测噪声是最常见的选择,因为它的尺度在各个时间步上较为一致,便于网络学习。
6.4 条件生成与引导
若需要根据文本、类别或其他信息控制生成结果,条件信息 c 会与时间步一起输入去噪网络,得到 eps_θ(x_t, t, c)。一种常见的增强方式是无分类器引导(classifier-free guidance)。训练时以一定概率丢弃条件信息,使同一网络同时学会有条件和无条件的预测。推理时,将两者的预测结果按引导系数线性组合,放大条件信号的影响。引导系数越大,生成结果与条件的一致性越强,但多样性会下降,过大时还可能出现色彩饱和或结构失真。
6.5 采样加速
完整的反向过程通常需要数百到上千步,推理开销较大。常见的加速思路有以下几类。
- 更少的采样步数:确定性采样器可以跳过部分时间步,用较少步数近似完整轨迹。
- 更好的求解器:把反向过程视为微分方程的数值求解问题,借助高阶数值方法减少误差。
- 蒸馏:训练一个较小步数的学生模型,模仿教师模型多步采样的结果。
这些方法都在采样质量与速度之间做权衡。步数减少后,误差累积增加,样本细节和稳定性可能下降,因此需要根据场景调整。
七、示例说明
下面的伪代码展示通用的训练与采样流程,不依赖任何特定框架。
# 训练function train_step(model, x0_batch, schedule):t = random_int(1, T, size=batch)eps = random_normal(shape=x0_batch.shape)alpha_bar = schedule.alpha_bar[t]x_t = sqrt(alpha_bar) * x0_batch + sqrt(1 - alpha_bar) * epseps_pred = model(x_t, t)loss = mean((eps - eps_pred) ** 2)update_parameters(model, loss)# 采样function sample(model, schedule, shape):x = random_normal(shape)for t in T down to 1:eps_pred = model(x, t)mean = (x - schedule.beta[t] / sqrt(1 - schedule.alpha_bar[t]) * eps_pred)/ sqrt(schedule.alpha[t])if t > 1:z = random_normal(shape)x = mean + schedule.sigma[t] * zelse:x = meanreturn x
在这个例子中,训练只需要一次前向计算和一次梯度更新,与总步数 T 无关。采样则需要 T 次网络调用,因此推理成本与步数成正比。
八、技术优势与限制
8.1 优势
- 训练稳定:目标函数是简单的回归形式,不需要对抗训练,也不存在模式坍塌的典型问题。
- 覆盖性好:训练目标要求模型对所有噪声水平负责,生成结果能较好覆盖数据分布的多个模式。
- 灵活可控:条件信息与引导机制可以自然地嵌入流程,便于实现可控生成。
8.2 限制
- 采样慢:反向过程需要多次网络调用,实时性要求高的场景需要额外加速。
- 计算开销大:高分辨率数据需要大型网络和大量计算资源。
- 似然计算不便:精确计算数据对数似然需要较复杂的估计,直接比较模型概率值不如某些其他模型直观。
- 超参数敏感:噪声调度、步数和引导系数对结果影响明显,需要在验证集上调整。
九、常见误区
- 误以为扩散模型是把图像“修复”回原样。实际上,反向过程从随机噪声开始,生成的是符合数据分布的新样本,不是对某一张图的还原。
- 误以为每一步都需要重新训练网络。去噪网络在所有时间步之间共享参数,同一个模型处理整条反向链路。
- 误以为步数越多效果一定越好。步数增加会提高计算成本,且收益会逐渐饱和。调度和求解器设计往往比单纯增加步数更重要。
- 误以为预测噪声就是直接输出图像。网络输出的是噪声估计,需要经过调度公式换算后才能更新当前状态。
- 误以为引导系数越大越好。过大的引导会压缩多样性,并引入伪影。
十、总结
扩散模型的核心机制可以归纳为三点。第一,前向过程通过固定的马尔可夫加噪链,把复杂数据分布转化为标准高斯分布,并借助高斯分布的可加性实现闭式采样。第二,训练目标将变分下界简化为噪声预测的均方误差,使每个时间步都能提供稳定的监督信号。第三,反向采样把生成过程拆成多步小幅去噪,在每一步由网络估计修正方向,并加入少量随机性以保证多样性。
理解这些机制后,读者可以判断扩散模型在哪些场景下适用,也能理解采样速度、噪声调度和引导系数等参数对结果的影响。在实际工程中,应根据延迟要求、数据规模和质量目标,合理选择步数、采样器和模型规模,并通过验证集评估生成效果。

登录后可评论,请前往 登录 或 注册