Stable Diffusion 之 VAE 篇

在Stable Diffusion中，VAE模型扮演着至关重要的角色。VAE，即变分自编码器，是一种生成模型，通过学习数据分布的特征，能够生成全新的、真实的样本。在Stable Diffusion中，VAE模型被用于将潜在空间中的噪声转换成图像。
首先，让我们了解一下VAE模型的基本结构。VAE模型由编码器和解码器两部分组成。编码器将输入的图像转换为潜在向量，这个过程叫做“编码”。解码器则将潜在向量转回图像形式，这个过程叫做“解码”。在训练过程中，VAE的目标是最小化重建误差和潜在向量的KL散度。
在Stable Diffusion中，VAE模型的工作流程如下：首先，通过编码器将图像转换为潜在向量。然后，这些潜在向量被用于前向扩散过程，每一步都会往潜在向量中增加更多噪声。在推理生成时，由反向扩散过程生成的denoised latents被VAE的解码器部分转换回图像格式。
值得注意的是，在Stable Diffusion的推理生成过程中，我们只需用到VAE的解码器部分。这是因为我们已经通过训练得到了潜在向量，可以直接用于解码生成图像。
在实际应用中，如何设置和配置VAE模型也是一项重要的任务。以WebUI为例，为了使用VAE模型，需要进行一系列的设置和配置。首先需要将VAE文件放到对应的文件夹下，然后在设置中选择相应的选项。点击「Settings」，然后在左侧菜单中选择「User interface」这个Tab。在下面有个选项叫做Quicksettings list，在输入框里面添加sd_vae。最后点击上面的「Apply settings」，再点击「Reload UI」，即可看到头部的VAE区域。
此外，还有一些其他的设置和参数需要注意。例如，Clip skip选项默认是1，需要改成常用的2。这个值越高，AI就会省略越多的分类细项。举个例子，在RealDosMix的描述中提到，我们把这些VAE模型下载并把它放入到models/VAE目录下。
在实际应用中，VAE模型的表现和效果会受到多种因素的影响，包括模型的架构、训练的数据、训练的参数等等。因此，对于不同的任务和场景，需要根据实际情况进行调整和优化。
总的来说，VAE模型在Stable Diffusion中发挥着重要的作用。通过深入了解VAE模型的工作原理和实际应用，我们可以更好地利用这一强大的图像生成技术。未来，随着技术的不断发展，我们相信VAE模型将会在更多的领域得到应用和推广。