扩散模型该预测图像还是噪声?三种目标解析
作者:新兰2026.11.18 11:47浏览量:0简介:噪声预测、干净样本预测与速度预测常被当作互斥选项,但在同一加噪调度下三者可以代数互推,真正影响训练的是损失权重与梯度分配。本文讲清三种目标的定义、数学等价性、信噪比权重换算与各自取舍,帮助读者做出合理选型。
一、定义:扩散模型的三种参数化目标到底在预测什么
扩散模型中的参数化目标(parameterization / prediction target),指训练去噪网络时,让网络输出什么样的量。它是网络输出与训练监督信号之间的对应关系。常见的有三种:
- x0-prediction(干净样本预测):网络输出对原始干净样本的估计,回答的是”这张图本来长什么样”。
- ε-prediction(噪声预测):网络输出前向加噪时注入的标准高斯噪声的估计,回答的是”当初加进去的噪声是什么”。这也是以DDPM为代表的经典写法。
- v-prediction(速度预测):网络输出一个由干净样本与噪声线性组合而成的量,常被解释为”带噪图像沿加噪方向运动的速度”。它在某类渐进式蒸馏方案中常被采用。
严格来说,”预测图像还是噪声”是一个不完整的提法。在固定前向加噪过程的前提下,三者知道任意两个就能算出第三个,本质上是同一个学习目标的不同坐标系。因此更准确的结论是:三者可以互相换算,但换用损失时并不等价。差异体现在每个时间步获得的梯度大小,以及网络容量有限时的优化侧重。
二、背景与价值:分歧从哪里来
扩散模型的学习目标可以从变分下界推导出来,核心是让网络在每一步都还原被加进去的扰动。按照均方误差的常规理解,可以统一写成:
- ε-prediction:输出 ≈ ε
- x0-prediction:输出 ≈ x0
- v-prediction:输出 ≈ v
早期工作多沿用以噪声为目标的写法,因为它直接来自理论推导,实现简单,采样时数值也比较稳定。后来的实践发现:
- 在网络容量和训练预算有限时,不同写法下网络会优先把能力分配到不同的噪声区间;
- 在噪声很重或噪声很轻的两端,部分写法存在数值条件问题;
- 与确定性常微分方程(ODE)采样、少步蒸馏等流程对接时,各写法的便利程度不同。
理解三者的关系与取舍,能在模型选型、复现他人结果、迁移预训练权重时少走弯路。
三、核心组成:三种目标的构造与换算
1. 前向加噪
在方差保持(Variance-Preserving, VP)设定下,记 αt = 1 − β_t,累积系数为 ᾱ_t = ∏{s≤t} α_s,则:
x_t = sqrt(ᾱ_t) · x0 + sqrt(1 − ᾱ_t) · ε, ε ~ N(0, I)
2. 三种回归目标
目标_x0 = x0目标_ε = ε目标_v = sqrt(ᾱ_t) · ε − sqrt(1 − ᾱ_t) · x0
3. 代数互推
令 a = sqrt(ᾱ_t)、b = sqrt(1 − ᾱ_t),则有:
v = a·ε − b·x0x0 = a·x_t − b·vε = b·x_t + a·v
这组关系是严格代数恒等:只要 x_t 由同一个 x0、ε 生成,无论 ᾱ_t 取什么值都成立。前提是先固定加噪调度。如果各目标的训练使用了不同的噪声调度(例如不同的噪声上限),换算关系就要随之调整。
下面用一段伪代码展示构造与换算(示意,非任何具体框架的接口):
# 示意性伪代码:三种目标的构造与换算# ab: 当前时间步的累积系数 ᾱ_ta = sqrt(ab) # 干净样本方向的系数b = sqrt(1 - ab) # 噪声方向的系数# 1) 前向加噪x_t = a * x0 + b * eps# 2) 三种训练目标(网络按所选参数化回归其中一个)target_x0 = x0target_eps = epstarget_v = a * eps - b * x0# 3) 已知任意两个量,求第三个v_from_eps_x0 = a * eps - b * x0x0_from_eps_v = a * x_t - b * veps_from_x0_v = b * x_t + a * v
这里需要区分两个层面:
- 表达能力:只要网络结构、输入(x_t 与 t)和调度固定,三者能表示的解空间完全相同。最优解都对应同一个条件期望 E[x0 | x_t],因为由加噪公式可知 E[ε | x_t] = (x_t − a·E[x0 | x_t]) / b。
- 训练效果:参数化决定的是网络输出的尺度、各时间步上的损失权重,以及误差在不同量之间传递时被放大还是被压缩。表达能力等价,不代表训练结果等价。
四、工作原理:损失权重与梯度分配
把三种损失都换算到 x0 重构误差上,就能看清它们的本质区别。设三种参数化共用同一个网络输出 f(x_t, t),再按各自规则换算出对应的量:
- x0 参数化:x̂0 = f
- ε 参数化:x̂0 = (x_t − b·f) / a
- v 参数化:x̂0 = a·x_t − b·f
代入可得误差换算关系(令 Δ = f − E[f | x_t] 为网络输出相对理想预测的偏差):
x0 参数化:x0 − x̂0 = −Δ → 等效权重 1ε 参数化:x0 − x̂0 = −(b/a)·Δ = −Δ / sqrt(SNR) → 等效权重 SNRv 参数化:x0 − x̂0 = −b·Δ = −Δ / sqrt(SNR+1) → 等效权重 SNR + 1
其中信噪比定义为 SNR(t) = ᾱ_t / (1 − ᾱ_t)。
若网络输出由某一参数化下的最优预测出发,按换算关系计算:
- 若与目标参数化一致,输出保持不变,x0 误差为零;
- 若不一致,输出会被朝目标参数化的最优解方向”拉扯”。
在理想情况下,训练会收敛到 E[f | x_t],此时任一参数化下换算出的 x0 都是正确均值,期望意义下的重构误差为零。真正的差异体现在有限训练过程中:
- 时间步之间梯度量级相差悬殊。以原始线性调度、1000 步为例,SNR 在训练中途就已降到 1 以下,到末尾约为千分之一量级。于是:
- ε-prediction 的实际训练几乎只发生在低噪声区间;
- v-prediction 每个时间步的权重都 ≥ 1,权重曲线比 SNR 平缓得多;
- x0-prediction 各时间步权重相同。
- 参数化决定了网络偏重的能力。在容量有限、各时间步样本竞争梯度的现实条件下,损失权重实际上决定了网络优先学习哪类能力:整体结构、局部细节,还是折中兼顾。
- 损失重加权可以改变侧重。Min-SNR 等分析指出,不同时间步的梯度之间存在冲突,调权重就是调整不同噪声区间的优先级。
Min-SNR 类方法的做法可以用伪代码描述:
# Min-SNR 类思路示意:让各时间步的有效 x0 权重不超过常数 gammagamma = 5.0 # 常见取值如 1 或 5,需按数据与任务调整snr = ab / (1 - ab)if parameterization == "eps":weight = minimum(snr, gamma) / snrloss = weight * mse(pred, eps)elif parameterization == "x0":# x0 参数化本身权重为 1,可直接截断其损失权重loss = minimum(snr, gamma) * mse(pred, x0)else: # v 参数化loss = mse(pred, v)
常见实现(包括 Min-SNR 一类方法)在 v 参数化下不再额外加权,相当于在”低噪声侧重细节”与”跨噪声均衡”之间取折中。
五、数学视角:单位圆上的旋转与切向速度
VP 设定下另有一个直观的几何解释。把标准正态噪声 ε 看作一个单位向量,并对干净样本 x0 做归一化,使二者尺度相当、方向近似正交,则二维平面上:
- 单位圆:x0 对应 0° 方向,ε 对应 90° 方向;
- 加噪:x_t 对应圆周上角度为 θ_t 的点,其中 cos θ_t = sqrt(ᾱ_t),sin θ_t = sqrt(1 − ᾱ_t);t 从 0 增大到 T,点从 x0 方向逐渐旋转到纯噪声方向;
- 速度:对 θ 求导,得 d(cos θ, sin θ)/dθ = (−sin θ, cos θ),这正是 v = sqrt(ᾱ)·ε − sqrt(1 − ᾱ)·x0。
由此可以得到三点结论:
- v 的物理含义:v 表示 x_t 沿单位圆旋转的切向速度。它始终是单位长度方向,不会像 x0 或 ε 的估计那样在两端被放大或压缩。
- x0 与 ε 的几何含义:它们分别是旋转前后的位置向量,估计误差沿半径方向,误差大小随角度变化。
- 终点问题:实际调度里 x_T 往往不是严格的各向同性高斯,而是半径为 sqrt(ᾱ_T) 的圆内一点。若 ᾱ_T 不够小,v 和 x0 的估计都会在终端发生偏转。把终端信噪比调到 0(令 ᾱ_T = 0),这个圆退化为纯噪声,上述几何解释在 T 处才严格成立。
六、三种目标的取舍
x0-prediction
- 优点:网络直接输出最终需要的结果,误差就是像素或隐空间中的重构误差,可解释性强。噪声很重时输出以整体结构为主,误差不会被除以很小的系数放大。它还便于做输出裁剪(如限制在合法像素范围)和施加先验约束。
- 不足:低噪声时 x_t 与 x0 几乎相同,回归接近恒等映射,损失很小、梯度信号弱,细节学习偏弱。在部分潜空间表示下,恒等映射并非平凡解,这一问题会有所缓解。另外,高噪声时 x0 的条件分布多峰且不确定,MSE 容易把输出拉成模糊的”平均像”。
ε-prediction
- 优点:监督信号是标准正态噪声,尺度天然归一,实现简单。换算到 x0 后权重为 SNR,低噪声区间权重大,有利于细节与高频纹理;它也是早期主流模型与众多采样实现的默认选项。
- 不足:高噪声区间权重小,对整体结构的约束弱。噪声很重时除以 sqrt(ᾱ) 的换算会显著放大误差,使这些时间步的 x0 重构误差偏大。
v-prediction
- 特性:ᾱ 接近 1(低噪声)时 v ≈ ε,接近预测噪声;ᾱ 接近 0(高噪声)时 v ≈ −x0,接近预测干净样本的相反数。
- 优点:两端都不会退化,等效权重为 SNR + 1 且始终不小于 1,各噪声区间都保留一定权重,整体更均衡。它和”从噪声到数据”的概率流速度一致,也方便与连续时间公式对接。在令终端信噪比为 0 的调度下,数值条件改善明显,常被作为训练大模型扩散骨干的稳妥默认选择。
- 不足:单独使用时,低噪声区间侧重不如 ε-prediction,细节可能需要更多训练或配合数据增强来弥补。
下面的示意表概括了各参数化的等效权重与典型特性(”低/高噪声侧重”是经验性归纳,会随调度与数据变化):
参数化 等效 x0 权重 典型倾向x0 1 各噪声区间均衡ε SNR(t) 侧重低噪声、细节v SNR(t)+1 各区间均衡、数值稳定
七、典型应用场景
| 场景 | 建议 | 理由 |
|---|---|---|
| 复现早期模型、沿用既有推理代码 | ε-prediction | 生态兼容性好,改动最小 |
| 采样时需要 x0 估计做引导或一致性约束 | x0-prediction | 输出即 x0,约束施加直接 |
| 训练大规模骨干、长时间步调度 | v-prediction | 各噪声区间权重均衡,数值稳定 |
| 少步蒸馏、连续时间 ODE 采样 | v-prediction | 与速度/概率流语义一致,便于数值求解 |
| 推理时加载其他参数化的权重 | 显式换算后使用 | 避免参数化不一致导致画质退化 |
示意代码如下:
# 依据权重声明的参数化,把网络输出统一换算为 x0 估计ab = alpha_bar[t]if parameterization == "x0":x0_hat = outputelif parameterization == "eps":x0_hat = (x_t - sqrt(1 - ab) * output) / sqrt(ab)elif parameterization == "v":x0_hat = sqrt(ab) * x_t - sqrt(1 - ab) * output# 后续采样、引导等步骤统一使用 x0_hat
八、与相关概念的区别
- 参数化 vs 损失重加权:参数化决定”网络输出什么”,重加权决定”各样本损失占多大比重”。换算后二者都表现为时间步权重,所以容易混淆。Min-SNR 一类方法可以在任意参数化上施加,思路是”用 x0 视角审视不同参数化的权重,再重新分配”。
- 参数化 vs 调度:调度决定 ᾱ_t 的曲线,参数化决定输出的含义,二者正交。但 SNR 由调度决定,所以同一参数化换调度后,实际的时间步权重也会改变。
- 参数化 vs 时间步采样:训练时如何采样 t(均匀、logit-normal、重要性采样等),与损失权重相乘,共同决定各噪声区间实际得到的梯度量。
- ε-prediction vs 分数(score)参数化:两者只差尺度因子,ε = −sqrt(1 − ᾱ)·s,其中 s 为噪声条件分数的估计。
- v-prediction vs 流匹配(flow matching):前者是 VP 扩散在特定调度与约定下的特例;后者面向更一般(不要求方差保持)的”从噪声到数据”直线路径。
九、使用注意事项
- 数值稳定:sqrt(ᾱ) 趋近 0 时,ε 与 x0 的互算会放大误差;sqrt(1 − ᾱ) 趋近 0 时,x0 与 v 的互算同理。实现中应限制 ᾱ 的取值范围,并检查采样步长极端取值下的表现。
- 调度与缩放一致:数据预处理或潜空间表示中的缩放系数应与训练所用参数化、调度相匹配。混用不同实现的代码时尤其要核对 ᾱ_T、β 的端点与缩放方式,否则采样结果会整体偏暗、偏亮或模糊。
- 切换参数化需重新调参:切换会改变梯度尺度,可能需要重新调整学习率、损失权重与时间步采样方式。已有 ε-prediction 检查点时,也可以先换算权重再微调,而不是从头训练。
- 客观评估:不同参数化的损失值不在同一尺度上,不能直接比较大小。应在固定采样器与采样步数下,用统一的生成质量指标评估。
- 算力需求:切换参数化本身不会显著降低训练或推理成本。大规模训练可结合通用的容器平台做弹性调度、对象存储保存检查点与数据集、日志服务与监控告警跟踪训练指标。例如在百度智能云上,可以借助这类通用产品类目搭建训练与评估流水线。
十、总结
回到”扩散模型该预测图像还是噪声”这个问题:
- 固定前向加噪调度后,x0-prediction、ε-prediction 与 v-prediction 通过线性关系代数互推,表达能力一致。
- 但换算到 x0 重构误差后,三者等效权重分别为 1、SNR、SNR+1,由此带来不同的梯度分配与优化侧重。
- ε-prediction 侧重低噪声细节,高噪声阶段误差容易被放大;x0-prediction 各区间均衡,低噪声时容易接近恒等映射;v-prediction 在低噪声时接近预测噪声、高噪声时接近预测干净样本的相反数,跨区间更均衡,在终端信噪比为零等设定下数值条件更好。
因此,三者没有绝对的优劣,选择应取决于任务目标、调度设计、采样方式与工程约束。对多数现代扩散模型训练而言,v-prediction 是较为稳妥的起点,再通过损失重加权等手段做针对性调整。

登录后可评论,请前往 登录 或 注册