Stable Diffusion 3 的大模型于2024年6月12日正式开源，本文将介绍如何在百度智能云GPU服务器上部署Stable Diffusion 3。

环境信息

• 适用于带 NVIDIA GPU 实例：建议选用T4、V100、A10等GPU
• 服务器配置：建议最低配置为 8 核 64 G 100G 磁盘，10M EIP

本文以百度智能云GPU服务器为例进行安装部署，购买计算型GN5服务器， 配置16核CPU，64GB内存，Nvidia Tesla A10 单卡，搭配100GB SSD数据盘， 安装Windows Server 2012中文操作系统。

模型下载

Stable Diffusion 3.0 模型下载

Stable Diffusion 3.0 下载地址：https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main
官方在模型下载链接中给出了模型文件，文本编码器，文生图工作流示例以及成品图demo。

• 模型文件
  官方提供了4种模型文件。

模型文件	大小	说明
sd3_medium.safetensors	4.3G	独立主模型，是 Stable Diffusion 的核心，负责根据文本编码器提供的文本信息生成图像，但它不包含文本编码器（clip 模型），此模型需要配合文本编码器使用；
sd3_medium_incl_clips.safetensors	5.97G	包含 Stable Diffusion 模型和 CLIP (clip_g 和 clip_l)文本编码器，可以直接使用这个模型文件进行图像生成，而无需单独加载 CLIP 模型。
sd3_medium_incl_clips_t5xxlfp16.safetensors	10.9G	包含 Stable Diffusion 模型、CLIP 模型 (clip_g 和 clip_l) 编码器和 T5-XXL 模型 (t5xxl_fp16)编码器，可以使用这个模型文件进行图像生成，使用了更高精度的 T5-XXL 模型。
sd3_medium_incl_clips_t5xxlfp8.safetensors	15.8G	包含 Stable Diffusion 模型、CLIP 模型 (clip_g 和 clip_l) 编码器和 T5-XXL 模型 (t5xxl_fp8)编码器。可以使用这个模型文件进行图像生成，并且可以使用 T5-XXL 模型生成更详细的图像描述。

说明：

模型和文本编码器并非全部需要下载，可以结合服务器显卡的性能只下载相应模型即可。

• 文本编码模型
  text_encoders：文本编码器，文本编码器是 Stable Diffusion 中一个非常重要的部分，是将文本转换为模型能够理解的向量表示的模型，向量中包含了文本描述的语义信息，例如颜色、形状、风格等等，模型会根据这个向量生成相应的图像。如果您使用sd3_medium.safetensors，需要额外添加文本编码器，官方提供了如下文本编码器。
  

• 其他
  comfy_example_workflows：包含三个官方提示的示例工作流。
  demo_images：生成的样本图片

ComfyUI启动器下载

ComfyUI 是一个开源的工作流可视化编排工具，它提供了强大的功能来扩展 Stable Diffusion 的能力。你可以把它想象成 Stable Diffusion 的一个 “控制面板”，让你能够更灵活地控制图像生成过程。

Github: https://github.com/comfyanonymous/ComfyUI
下载链接：https://github.com/comfyanonymous/ComfyUI/releases/download/latest/ComfyUI_windows_portable_nvidia_or_cpu_nightly_pytorch.7z

模型部署

解压ComfyUI

解压ComfyUI_windows_portable_nvidia_or_cpu_nightly_pytorch.7z文件，因为模型文件较大，建议放置在数据盘，解压后目录结构如下：

部署模型和文本编码器

• 将模型文件 sd3_medium.safetensors, sd3_medium_incl_clips.safetensors, sd3_medium_incl_clips_t5xxlfp16.safetensors, sd3_medium_incl_clips_t5xxlfp8.safetensors放置到 ComfyUI_windows_portable_nightly_pytorch\ComfyUI\models\checkpoints。
• 将 CLIP (clip_g.safetensors, clip_l.safetensors)和 T5-XXL (t5xxl_fp16.safetensors, t5xxl_fp8_e4m3fn.safetensors)文件放置到 ComfyUI_windows_portable_nightly_pytorch\ComfyUI\models\clip中

说明：

如使用sd3_medium.safetensors模型则需要下载和放置文本编码器，其他模型不需要。

使用

启动

在ComfyUI_windows_portable_nightly_pytorch目录下包含两个启动脚本：

run_cpu.bat:  适用于没有独立显卡，需要CPU来完成计算。
run_nvidia_gpu.bat: 适用于独立显卡

启动后会在8188端口完成监听，并自动打开浏览器进入工作流编排界面， 如果你想指定IP和端口进行监听，则需要编辑启动脚本，增加如下参数来指定：

--host 0.0.0.0 --port 7860

工作流

ComfyUI 将stable diffusion的流程拆分成节点，这些节点可以包括各种任务，如加载检查点模型、输入正反向提示、指定采样器等，使用户能够通过链接不同的节点来构建复杂的图像生成工作流程。

ComfyUI在启动后会加载默认的工作流，通过“Load checkpoint”节点选择加载的模型，在“CLIP Text Encode (Prompt)”输入正向和反向提示词，”Empty Latent Image”节点可以设置图像分辨率以及生成数量 ，点击“Queue Prompt”开始生成图片。
其它节点有更多调整图像生成的参数，这里不做介绍，可以通过ComfyUI官方文档学习。

问题记录

问题1：启动器加载模块依赖问题

C:\SD3\ComfyUI_windows_portable_nightly _pytorch). \python_embeded\python. exe -s ComfyUI\main.py --cpu -windows-standalo
e-build
Traceback (most recent call last):
Fi1e "C:\SD3\ComfyUI_windows_portable_nightly_pytorch\ComfyUI\main.py", 1ine 73, in <module>
import comfy.utils
File "C:\SD3\ComfyUI_windows_portable_nightly_pytorch\ComfyUI\comfy\utils.py", 1ine 1, in <module)
import torch
File "C:\SD3\ComfyUI_windows_portable_nightly_pytorch\python_embeded\Lib\site-packages\torch\_init_.py", 1ine 246, i
n <module>
load_d11_libraries()
File "C: SD3\ComfyUI_windows_portable_nightly_pytorch\python_embeded\Lib\site-packages\torch\_init_.py", 1ine 242, i
n _load_d11_1ibraries
raise err
SError: [WinError 126] 找不到指定的模块。 Error 1oading "C:\SD3\ComfyUI_windows_portable_nightly_pytorch\python_embedec
\Lib\site-packages\torch\1ib\fbgemm. d11" or one of its dependencies.
C:\SD3\ComfyUI_windows_portable_nightly_pytorch>pause

解决方案
重装一下这三个库 torch, torchvision, torchaudio ，根据操作系统版本，gpu/cpu信息等来指定安装参数。

cd C:\SD3\ComfyUI_windows_portable_nightly_pytorch\python_embeded
.\Scripts\pip3 uninstall torch torchvision torchaudio
.\Scripts\pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

如果运行中缺少pip命令，则先执行如下命令：

.\python.exe .\get_pip.py