扩散模型应预测图像还是噪声:目标与权重解析
作者:梅琳marlin2026.11.16 11:55浏览量:0简介:本文围绕扩散模型中“预测图像还是预测噪声”的常见疑问,系统解释预测干净图像、预测噪声、预测速度量三种参数化目标。读者将理解固定加噪调度下三者的代数关系,掌握不同损失权重对高、低噪声区间的影响,并据此选择更稳定的训练目标。
在扩散模型训练中,“应该预测图像还是噪声”并不是一个简单的二选一问题。它真正指向的是:在给定带噪输入和时间步的情况下,去噪网络应当输出哪一种估计量,才能更稳定、更有效地逼近真实数据分布。
扩散模型通常由两个过程组成:前向加噪过程与反向去噪过程。前向过程会逐步向真实样本中加入噪声,得到一个带噪样本;反向过程则训练一个网络,从带噪样本中恢复原始样本或恢复去噪方向。不同训练目标会影响网络的学习重点、梯度分布、数值稳定性,以及在不同噪声区间中的表现。
因此,讨论“预测图像还是预测噪声”,本质上是在讨论扩散模型的参数化方式。
一、概念定义:预测目标是对去噪方向的不同参数化
扩散模型的核心思想可以概括为:学习一个从带噪样本到干净样本的映射关系。假设干净样本为 x₀,时间步为 t,带噪样本为 x_t,前向加噪过程可以表示为:
x_t = sqrt(alpha_bar_t) x₀ + sqrt(1 - alpha_bar_t) ε
其中,alpha_bar_t 是前向加噪调度中的累计保留系数,ε 是加入的噪声。
在这个框架下,网络可以预测三种不同的量:
- 预测干净样本,即 x₀-prediction;
- 预测噪声,即 ε-prediction;
- 预测速度量或切向方向,即 v-prediction。
这三种方式并不是互斥的。只要前向加噪调度固定,它们在数学上通常可以相互换算。真正产生差异的,是损失函数在不同参数化空间中的尺度不同,进而导致网络在不同时间步上获得的优化信号不同。
二、为什么会产生“预测图像还是预测噪声”的疑问
早期扩散模型常采用噪声预测方式。这种方式直观、实现简单,并且与去噪思想高度一致:模型只需要学习预测当前时间步中加入的噪声。
但随着扩散模型在图像生成、潜空间建模、高分辨率生成、快速采样和蒸馏式训练等场景中的发展,研究人员逐渐发现,不同参数化方式在高噪声、低噪声、终端信噪比、梯度稳定性等方面表现不同。
于是出现了三种典型问题:
- 直接预测干净样本,是否更利于保留结构?
- 预测噪声,是否更利于捕捉细节?
- 是否存在一种参数化方式,能够在不同噪声区间之间取得更均衡的表现?
这就是“预测图像还是预测噪声”这一讨论的来源。
需要注意的是,不能简单地说某种目标绝对更优。更合理的理解是:不同目标对应不同的损失权重,而不同权重会让模型更关注某些噪声区间。
三、三种基础目标的基本含义
- x₀-prediction:预测干净样本
x₀-prediction 的目标是让网络直接输出对原始干净样本的估计。给定带噪样本 x_t 和时间步 t,网络输出:
x₀_hat = f(x_t, t)
这种方式的优点是目标直观,尤其在需要直接约束输出样本时比较方便。它也可以更直接地表达“从带噪状态恢复到干净状态”的任务目标。
但在训练过程中,x₀-prediction 会表现出明显的区间差异。在高噪声阶段,带噪样本中保留的原始信息较少,网络需要更多依赖全局结构和统计规律进行估计。在低噪声阶段,带噪样本已经非常接近干净样本,网络容易学到近似恒等映射,即直接输出接近输入的样本。这种情况下,模型可能在低噪声阶段缺乏对细节的进一步优化压力。
- ε-prediction:预测噪声
ε-prediction 的目标是让网络预测当前时间步中加入的噪声。网络输出:
ε_hat = f(x_t, t)
这种方式与扩散模型的正向加噪过程紧密对应。它的训练目标比较清晰,也便于与反向采样过程结合。
ε-prediction 在低保真阶段通常更容易捕捉噪声成分和细节变化。然而,当把 ε 预测误差换算到 x₀ 重构误差时,不同时间步的权重会发生显著变化。特别是在高噪声阶段,带噪样本中原始信号较弱,噪声预测中的小幅误差可能在换算到干净样本后带来较大不确定性。
- v-prediction:预测速度量或切向方向
v-prediction 的目标介于噪声预测和干净样本预测之间。它通常被理解为在加噪路径上的速度量,或者从当前带噪状态指向去噪方向的切向量。
在一种常见定义下,可以写成:
v = sqrt(alpha_bar_t) ε - sqrt(1 - alpha_bar_t) x₀
从几何上看,方差保持型加噪过程可以被类比为单位圆上的旋转。干净样本和噪声分别构成两个正交方向,而带噪样本随着噪声增加而逐渐向噪声方向旋转。v-prediction 可以理解为该旋转过程中的切向速度。
这种参数化在低噪声阶段接近噪声预测,在高噪声阶段则更接近干净样本的相反方向。因此,它在很多场景下表现出较好的均衡性。
四、固定加噪调度下,三者可以代数互推
如果前向加噪过程已经固定,那么 x₀、ε、v 之间存在明确的代数关系。
在一种常见符号约定下,有:
x_t = sqrt(alpha_bar_t) x₀ + sqrt(1 - alpha_bar_t) ε
v = sqrt(alpha_bar_t) ε - sqrt(1 - alpha_bar_t) x₀
由此可以推出:
x₀ = sqrt(alpha_bar_t) x_t - sqrt(1 - alpha_bar_t) v
ε = sqrt(1 - alpha_bar_t) x_t + sqrt(alpha_bar_t) v
这意味着,只要网络输出其中一种量,就可以在推理或损失计算中换算出另外两种量。
例如,如果网络预测的是 ε:
x₀_hat = (x_t - sqrt(1 - alpha_bar_t) * ε_hat) / sqrt(alpha_bar_t)
如果网络预测的是 v:
x₀_hat = sqrt(alpha_bar_t) x_t - sqrt(1 - alpha_bar_t) v_hat
因此,从“能否恢复干净样本”的角度看,三种目标具有高度等价性。
但是,这种等价性并不意味着训练效果完全相同。因为不同参数化空间中的均方误差具有不同的尺度,换算到同一个干净样本误差后,会产生不同的权重。
五、真正关键的是损失权重与梯度分配
在扩散模型中,训练损失通常是对不同时间步的均方误差求平均。表面上看,大家使用的是同一类损失,但实际上不同参数化对应的等效权重并不相同。
假设我们以干净样本重构误差作为统一比较基准:
L_x0 = ||x₀_hat - x₀||²
那么三种参数化方式在换算到 x₀ 重构误差时,可以理解为具有不同的等效权重:
- x₀-prediction:等效权重为 1;
- ε-prediction:等效权重与信噪比相关,通常可理解为 SNR;
- v-prediction:等效权重与信噪比相关,通常可理解为 SNR + 1。
这里的 SNR 可以理解为信噪比,其定义为:
SNR = alpha_bar_t / (1 - alpha_bar_t)
当时间步较小、噪声较少时,alpha_bar_t 接近 1,SNR 较大;当时间步较大、噪声较多时,alpha_bar_t 接近 0,SNR 较小。
这意味着:
- 在低保真阶段,ε-prediction 的等效权重会很高,因此它对干净样本重构的约束更强;
- 在高噪声阶段,ε-prediction 的等效权重会降低,模型可能更关注噪声本身的预测,而不是干净样本恢复;
- v-prediction 因为存在常数项,使得高噪声阶段仍然保留较强的梯度信号;
- x₀-prediction 在所有时间步上的权重相对一致,但它在低噪声阶段容易接近恒等映射。
因此,所谓“预测图像还是噪声”,更准确地说,是“希望网络在不同噪声区间获得怎样的优化权重”。
六、时间步之间的梯度冲突与信噪比重加权
扩散模型训练时,并不是只处理单个时间步,而是要在大量时间步上学习统一映射。不同时间步对应的样本状态差异很大:
- 低噪声阶段,x_t 与 x₀ 很接近;
- 高噪声阶段,x_t 更接近纯噪声;
- 中间阶段则处于结构与噪声的混合状态。
这就导致不同时间步上的梯度可能并不完全一致,甚至出现相互冲突的情况。如果简单对所有时间步一视同仁,某些区间可能主导优化方向,另一些区间则得不到足够有效的学习信号。
信噪比重加权的思想,就是根据每个时间步的噪声水平调整损失贡献。例如:
- 对低噪声阶段增强约束,有助于细节恢复;
- 对高噪声阶段保留足够梯度,避免模型忽略整体结构;
- 对中间阶段进行平衡,避免不同区间梯度相互抵消。
在实际工程中,常见做法包括:
- 对时间步采样分布进行调整;
- 对损失进行信噪比归一化;
- 对不同时间步设置权重函数;
- 对极高噪声或极低噪声区间进行裁剪或平滑;
- 将不同参数化目标与调度策略联合设计。
七、三种目标的取舍:不是绝对优劣,而是适用边界
- x₀-prediction 的特点
x₀-prediction 直接学习目标样本,因此在某些场景下比较直观。它适合需要明确约束输出样本的任务,也便于与其他图像空间损失结合。
优势:
- 目标直接,易于理解;
- 对干净样本结构有直接建模;
- 在需要显式输出估计时较方便;
- 可与某些图像域约束自然结合。
局限:
- 高噪声阶段信息不足,估计可能偏平滑;
- 低噪声阶段容易退化为恒等映射;
若不做时间步加权,细节学习可能不足。
ε-prediction 的特点
ε-prediction 与加噪过程高度一致,是较常见的训练目标。它在低保真阶段通常能较好捕捉噪声与细节变化。
优势:
- 与正向加噪过程对应清晰;
- 实现简单,训练稳定;
- 对细节和局部变化较敏感;
- 在常见图像生成任务中表现成熟。
局限:
- 换算到 x₀ 重构误差后,权重随信噪比变化明显;
- 高噪声阶段可能弱化对干净样本结构的直接约束;
若不进行合理加权,不同时间步之间的学习重点可能不均衡。
v-prediction 的特点
v-prediction 通常被理解为一种折中参数化。它在低噪声时接近噪声预测,在高噪声时接近干净样本的相反方向。
优势:
- 在不同噪声区间之间较均衡;
- 对终端信噪比趋零的设定更友好;
- 高噪声阶段不容易出现极端数值放大;
- 在快速采样、蒸馏式训练和高分辨率生成等场景中较常见。
局限:
- 符号和定义需要严格保持一致;
- 与采样器、损失权重、调度策略配合不当会影响效果;
- 对实现细节要求略高,尤其在换算和推理时需要避免错误。
八、典型应用场景
- 高噪声阶段需要稳定结构估计时
在高噪声阶段,原始样本信息较少,网络需要更多依赖整体结构进行推断。此时,v-prediction 往往更稳健,因为它保留了较充分的梯度信号,并且不容易因噪声预测误差在干净样本空间中被放大。
- 低噪声阶段强调细节恢复时
在低噪声阶段,带噪样本已经接近干净样本,网络需要关注局部纹理、边缘和高频信息。此时,ε-prediction 往往更有优势,因为噪声预测对局部变化更敏感。
- 需要直接约束输出样本时
如果任务需要网络直接输出干净样本估计,例如某些需要显式图像域约束的场景,x₀-prediction 更直观。它可以直接与样本质量、结构一致性等目标结合。
- 快速采样或蒸馏式训练中
在需要减少采样步数、提升推理效率的场景中,v-prediction 通常表现较均衡。它对不同噪声区间的梯度更平滑,适合在较少采样步或蒸馏式训练中保持稳定。
- 高分辨率或潜空间生成中
在高分辨率图像或潜空间变量生成中,噪声调度和数值稳定性非常关键。v-prediction 在终端信噪比趋零时通常具有更好的数值表现,因此常被用于此类场景。
九、与相关概念的区别
- 预测目标不等于噪声调度
预测目标决定网络输出什么,噪声调度决定加噪过程如何进行。即使预测目标相同,不同的噪声调度也会改变不同时间步的信噪比,从而影响训练效果。
- 预测目标不等于采样器
采样器决定推理阶段如何从带噪样本逐步恢复样本。预测目标主要影响训练阶段的监督信号。二者需要配合,但不能混为一谈。
- 预测目标不等于损失权重
虽然不同参数化可以换算,但均方误差在不同空间中的尺度不同。因此,即便输出可以互推,损失权重和梯度分配仍然可能不同。
- “图像”不一定是像素图像
在扩散模型中,所谓的图像既可能是像素空间中的图像,也可能是潜空间中的编码表示。因此,x₀-prediction 中的 x₀ 并不必然指原始像素,也可能指某种中间表示。
十、使用注意事项
- 保持符号约定一致
不同资料中对 v 的定义可能存在符号差异。实现时必须确保训练、损失、采样和换算过程使用同一套定义,否则会导致结果异常。
- 避免直接混用不同参数化损失
虽然 x₀、ε、v 可以相互换算,但不建议在同一套训练逻辑中随意混用不同目标而不调整权重。否则可能造成梯度尺度不一致。
- 对高噪声区间保持关注
在高噪声阶段,噪声预测误差换算到干净样本时可能被放大。如果采用 ε-prediction,需要特别注意高噪声区间的权重设计。
- 对低噪声区间避免恒等退化
如果采用 x₀-prediction,在低噪声阶段可能出现网络简单复制输入的情况。此时可以通过时间步加权、细节约束或损失设计来缓解。
- 数值稳定性很重要
在终端信噪比接近零时,某些换算会出现除小数的风险。工程实现中通常需要对 alpha_bar_t、1 - alpha_bar_t 等项进行裁剪或保护。
- 不同任务需要不同评估方式
不能仅凭单一指标判断某种目标是否更优。应结合采样步数、图像质量、结构一致性、细节表现、推理速度和训练稳定性综合评估。
十一、示意性代码说明
以下代码仅用于说明不同参数化之间的换算关系,不依赖任何特定框架。
# t: 当前时间步# x_t: 当前带噪样本# model: 去噪网络# alpha_bar_t: 当前时间步的累计保留系数a = alpha_bar_t# 方式一:网络预测 vv_pred = model(x_t, t)x0_pred = sqrt(a) * x_t - sqrt(1 - a) * v_pred# 方式二:网络预测 epsiloneps_pred = model(x_t, t)x0_pred = (x_t - sqrt(1 - a) * eps_pred) / sqrt(a)# 方式三:网络预测 x0x0_pred = model(x_t, t)
如果以干净样本重构误差作为统一比较基准,则不同参数化对应的等效权重可以理解为:
x0-prediction: 权重约为 1eps-prediction: 权重约为 SNRv-prediction: 权重约为 SNR + 1
其中:
SNR = alpha_bar_t / (1 - alpha_bar_t)
十二、总结
回到最初的问题:扩散模型到底应该预测图像还是预测噪声?
更准确的答案是:并不是简单地选择预测图像或预测噪声,而是选择一种参数化方式,并配套设计合适的噪声调度、损失权重和采样策略。
如果目标是直接约束干净样本,x₀-prediction 更直观;
如果希望强调低噪声区间的细节恢复,ε-prediction 有天然优势;
如果希望在高低噪声区间之间取得更均衡的数值稳定性,v-prediction 通常更稳健。
从工程角度看,最值得关注的不是名称本身,而是以下三个问题:
- 当前参数化对应怎样的信噪比权重;
- 不同时间步之间是否存在梯度冲突;
- 推理阶段的换算是否与训练目标一致。
理解这三点之后,就能更理性地判断:在具体的扩散模型任务中,应当选择哪种预测目标,以及如何通过损失加权和调度设计获得更稳定的训练效果。

登录后可评论,请前往 登录 或 注册