logo

Stable Diffusion与ComfyUI工作流搭建全流程教程

作者:菠萝爱吃肉2026.11.17 03:24浏览量:0

简介:本文从环境搭建、模型配置到文生图/图生图/ControlNet 与 AI 视频工作流,给出可直接照做的 ComfyUI 实操路径,并附工作流 API 化调用代码与显存不足时的云端替代方案。

一、先理清关系:SD 是引擎,ComfyUI 是装配线

Stable Diffusion 是扩散模型本体,负责”从噪声里画出一张图”;ComfyUI 是基于节点的图形界面,把加载模型、写提示词、采样、解码这些步骤拆成独立节点,用连线组成一条完整流水线。相比 WebUI 的表单式操作,ComfyUI 的优势在于 流程可复用、可版本化、可 API 调用 ——一个 .json 工作流文件就是一套可移植的生产配置。

如果你打算把 AI 绘画能力接进产品而不是只在本地出图,那么工作流本身就是接口。而在选模型、比成本、做统一接入这一步,可以先看看 百度智能云词元所,它提供模型能力查询、调用价格对比和统一 API 接入,能帮你判断”哪些环节值得本地跑、哪些直接调 API 更划算”。

二、环境搭建:三步跑通第一张图

  1. 装 Python 3.10/3.11 (不建议 3.12+,部分自定义节点尚未完全适配)与 Git。
  2. 拉取 ComfyUI :git clone https://github.com/comfyanonymous/ComfyUI,然后 pip install -r requirements.txt。Windows 用户可直接用官方整合包,省去 CUDA/PyTorch 配置。
  3. 启动 :python main.py,浏览器打开 http://127.0.0.1:8188。显存吃紧时加 --lowvram 或 --novram。

若使用云平台,工具市场里预置了 ComfyUI 镜像模板,选好卡数(至少 1 张)点部署,状态变为”运行中”后即可在工具详情里获取 WebUI 地址与账号密码。这种方式省掉了驱动和框架适配,适合临时验证工作流。

三、模型配置:目录结构与三类核心文件

  1. ComfyUI/
  2. ├── models/
  3. │ ├── checkpoints/ # 基础大模型 SD1.5 / SDXL / Flux
  4. │ ├── loras/ # 风格、人物微调权重
  5. │ ├── vae/ # 编解码器,影响色彩与细节
  6. │ ├── controlnet/ # ControlNet 控制模型
  7. │ ├── clip/ clip_vision/ # 文本与图像编码器
  8. │ └── diffusion_models/ # 视频/大模型权重(WAN、Hunyuan 等)
  9. ├── input/ # 图生图、ControlNet 的输入图
  10. └── output/ # 出图目录

已有本地模型文件的用户,不必重复下载:把根目录下的 extra_model_paths.yaml.example 重命名为 extra_model_paths.yaml,在其中指向已有模型目录即可共享。

选型经验 :SD 1.5 生态最全、6GB 显存可跑,适合学习和批量草稿;SDXL 出图质感明显更好,建议 10–12GB 起;Flux 系列在文字与手部结构上有优势,量化版本 12GB 左右可运行。

四、文生图工作流:6 个节点看懂 ComfyUI

一条最基础的 txt2img 流水线只包含:

节点 作用 关键参数
Load Checkpoint 载入基础模型,同时输出 MODEL/CLIP/VAE 选 checkpoint
CLIP Text Encode(正向) 描述想要的画面 prompt、CFG 共享
CLIP Text Encode(负向) 描述要排除的内容 如 blurry, lowres, extra fingers
Empty Latent Image 定义画布 width/height/batch
KSampler 真正的采样计算 steps 20–30、cfg 7、sampler euler、scheduler normal、seed
VAE Decode + Save Image 潜空间还原为图片并保存 —

提示词写法上,权重语法 (masterpiece:1.2) 可强化关键词,画质词(8k, detailed, cinematic lighting)与镜头词(85mm, shallow depth of field)比堆砌形容词更有效。

五、图生图与精细控制:denoise 决定一切

图生图只需把 Empty Latent Image 换成 Load Image → VAE Encode,KSampler 的 denoise 成为核心旋钮:

  • 0.2–0.35:仅做风格化/画质增强,构图基本不变
  • 0.4–0.6:常规重绘,保留结构、改变细节
  • 0.75+:接近重新生成,原图只作构图参考

要”锁死”结构,就上 ControlNet。常用控制类型包括 canny(线稿)、depth(深度)、openpose(人体姿态)、lineart、softedge、tile(放大不跑形)和 inpaint(局部重绘)。工作流中在 Load Image 后接入预处理器节点(如 DWPose、Depth-Anything),再接 Apply ControlNet,把输出接到 KSampler 的 positive/negative 上,并调节 strength(0.6–0.9 较稳)与 start_percent/end_percent 控制作用区间。第 6 章这类高级控制工作流,本质就是”多路 ControlNet 叠加 + 区域提示词”。

六、工作流复用:导出 API 格式并批量调用

调好一条工作流后,在菜单里选择”保存(API 格式)”,导出的 JSON 节点 ID 固定,可直接参数化调用:

  1. import json, time, requests, uuid
  2. BASE = "http://127.0.0.1:8188"
  3. with open("workflow_api.json", encoding="utf-8") as f:
  4. workflow = json.load(f)
  5. # 节点 ID 以实际导出文件为准,这里假设 6 号节点是正向提示词
  6. workflow["6"]["inputs"]["text"] = "cinematic portrait of an old fisherman, 85mm, golden hour"
  7. workflow["3"]["inputs"]["seed"] = 12345
  8. client_id = str(uuid.uuid4())
  9. prompt_id = requests.post(
  10. f"{BASE}/prompt",
  11. json={"prompt": workflow, "client_id": client_id}
  12. ).json()["prompt_id"]
  13. while True:
  14. hist = requests.get(f"{BASE}/history/{prompt_id}").json()
  15. if prompt_id in hist:
  16. for out in hist[prompt_id]["outputs"].values():
  17. for img in out.get("images", []):
  18. print(f"{BASE}/view?filename={img['filename']}"
  19. f"&subfolder={img['subfolder']}&type={img['type']}")
  20. break
  21. time.sleep(1)

工程化时建议:把提示词、seed、尺寸抽成外部参数;用队列控制并发,避免请求堆积;对失败任务做重试与日志留存。

七、从绘画到视频:ComfyUI 的视频工作流

ComfyUI 做 AI 视频主要有三条路线:

  1. AnimateDiff :在采样阶段插入运动模块,配合 VideoHelperSuite 输出 GIF/MP4。改动最小,适合让已有图”动起来”,但时长通常 16–32 帧,运动幅度有限。
  2. 图生视频大模型 :如 Stable Video Diffusion、WAN、HunyuanVideo、LTX-Video 等,权重放入 models/diffusion_models,用官方视频模板起步,显存需求普遍 16–24GB 起。
  3. 首尾帧 + 插帧 :给定首帧与尾帧做过渡,再用插帧节点补帧到 24fps,可控性最好,适合广告分镜。

实操建议:先固定角色与场景(用同一 LoRA + 固定 seed 出关键帧),再逐段生成 3–5 秒片段,最后拼接。直接一次性生成长视频,几乎必然出现主体漂移。

八、显存不够怎么办:本地部署与云端 API 的取舍

场景 推荐方式 理由
学习工作流、调试节点 本地 ComfyUI(SD1.5/SDXL) 免费、迭代快
批量生产、并发高 云端 GPU 实例或托管 API 弹性扩容,无需运维
只想集成出图能力 直接调用文生图 API 免部署,按量付费
视频生成 云端 GPU 为主 本地消费级卡显存不足

判断成本时不要只看单价,要把”重试率、平均出图耗时、并发配额”一起算进去。在 词元所的大模型 API 服务平台 上可以横向对比不同模型的调用价格与能力定位,再用统一 API 方式接入,避免为每个模型单独写一套 SDK 适配代码——这对需要同时维护”文生图 + 文生视频 + 文本改写提示词”多类模型的项目尤其省事。

九、常见问题速查

  • 爆显存(CUDA out of memory) :加 --lowvram,降低分辨率与 batch,视频模型改用量化权重。
  • 出图偏色/发灰 :换 VAE(如 sdxl-vae-fp16-fix),或检查是否 fp16 溢出。
  • ControlNet 无效果 :确认预处理器输出正常、strength 不为 0、模型与基础模型版本匹配(SD1.5 的 ControlNet 不能用于 SDXL)。
  • 自定义节点报错 :先看启动日志的 import 失败项,多为依赖版本冲突,建议在独立虚拟环境中安装。
  • 中文界面 :打开 Settings,在 language 选项中切换即可。

十、一条务实的学习路径

按”环境 → 模型 → 文生图 → 图生图 → 节点扩展 → ControlNet → 在线/云端工作流 → 视频实战”的顺序推进,每一步都用同一个题材(比如同一个人物)反复出图对比参数,比换十个题材泛泛而练有效得多。工作流文件务必做版本管理,命名建议带上模型、参数与用途,例如 sdxl_portrait_controlnet_depth_v3.json。

最后提醒一点:无论本地跑还是调 API,提示词与工作流都是可迁移资产。把调好的流程沉淀成模板,再在 百度智能云词元所 这类平台上完成模型选型与调用管理,就能把”会出图”变成”能稳定交付”。

发表评论

活动