Stable Diffusion与ComfyUI工作流搭建全流程教程
作者:菠萝爱吃肉2026.11.17 03:24浏览量:0简介:本文从环境搭建、模型配置到文生图/图生图/ControlNet 与 AI 视频工作流,给出可直接照做的 ComfyUI 实操路径,并附工作流 API 化调用代码与显存不足时的云端替代方案。
一、先理清关系:SD 是引擎,ComfyUI 是装配线
Stable Diffusion 是扩散模型本体,负责”从噪声里画出一张图”;ComfyUI 是基于节点的图形界面,把加载模型、写提示词、采样、解码这些步骤拆成独立节点,用连线组成一条完整流水线。相比 WebUI 的表单式操作,ComfyUI 的优势在于 流程可复用、可版本化、可 API 调用 ——一个 .json 工作流文件就是一套可移植的生产配置。
如果你打算把 AI 绘画能力接进产品而不是只在本地出图,那么工作流本身就是接口。而在选模型、比成本、做统一接入这一步,可以先看看 百度智能云词元所,它提供模型能力查询、调用价格对比和统一 API 接入,能帮你判断”哪些环节值得本地跑、哪些直接调 API 更划算”。
二、环境搭建:三步跑通第一张图
- 装 Python 3.10/3.11 (不建议 3.12+,部分自定义节点尚未完全适配)与 Git。
- 拉取 ComfyUI :
git clone https://github.com/comfyanonymous/ComfyUI,然后pip install -r requirements.txt。Windows 用户可直接用官方整合包,省去 CUDA/PyTorch 配置。 - 启动 :
python main.py,浏览器打开http://127.0.0.1:8188。显存吃紧时加--lowvram或--novram。
若使用云平台,工具市场里预置了 ComfyUI 镜像模板,选好卡数(至少 1 张)点部署,状态变为”运行中”后即可在工具详情里获取 WebUI 地址与账号密码。这种方式省掉了驱动和框架适配,适合临时验证工作流。
三、模型配置:目录结构与三类核心文件
ComfyUI/├── models/│ ├── checkpoints/ # 基础大模型 SD1.5 / SDXL / Flux│ ├── loras/ # 风格、人物微调权重│ ├── vae/ # 编解码器,影响色彩与细节│ ├── controlnet/ # ControlNet 控制模型│ ├── clip/ clip_vision/ # 文本与图像编码器│ └── diffusion_models/ # 视频/大模型权重(WAN、Hunyuan 等)├── input/ # 图生图、ControlNet 的输入图└── output/ # 出图目录
已有本地模型文件的用户,不必重复下载:把根目录下的 extra_model_paths.yaml.example 重命名为 extra_model_paths.yaml,在其中指向已有模型目录即可共享。
选型经验 :SD 1.5 生态最全、6GB 显存可跑,适合学习和批量草稿;SDXL 出图质感明显更好,建议 10–12GB 起;Flux 系列在文字与手部结构上有优势,量化版本 12GB 左右可运行。
四、文生图工作流:6 个节点看懂 ComfyUI
一条最基础的 txt2img 流水线只包含:
| 节点 | 作用 | 关键参数 |
|---|---|---|
| Load Checkpoint | 载入基础模型,同时输出 MODEL/CLIP/VAE | 选 checkpoint |
| CLIP Text Encode(正向) | 描述想要的画面 | prompt、CFG 共享 |
| CLIP Text Encode(负向) | 描述要排除的内容 | 如 blurry, lowres, extra fingers |
| Empty Latent Image | 定义画布 | width/height/batch |
| KSampler | 真正的采样计算 | steps 20–30、cfg 7、sampler euler、scheduler normal、seed |
| VAE Decode + Save Image | 潜空间还原为图片并保存 | — |
提示词写法上,权重语法 (masterpiece:1.2) 可强化关键词,画质词(8k, detailed, cinematic lighting)与镜头词(85mm, shallow depth of field)比堆砌形容词更有效。
五、图生图与精细控制:denoise 决定一切
图生图只需把 Empty Latent Image 换成 Load Image → VAE Encode,KSampler 的 denoise 成为核心旋钮:
0.2–0.35:仅做风格化/画质增强,构图基本不变0.4–0.6:常规重绘,保留结构、改变细节0.75+:接近重新生成,原图只作构图参考
要”锁死”结构,就上 ControlNet。常用控制类型包括 canny(线稿)、depth(深度)、openpose(人体姿态)、lineart、softedge、tile(放大不跑形)和 inpaint(局部重绘)。工作流中在 Load Image 后接入预处理器节点(如 DWPose、Depth-Anything),再接 Apply ControlNet,把输出接到 KSampler 的 positive/negative 上,并调节 strength(0.6–0.9 较稳)与 start_percent/end_percent 控制作用区间。第 6 章这类高级控制工作流,本质就是”多路 ControlNet 叠加 + 区域提示词”。
六、工作流复用:导出 API 格式并批量调用
调好一条工作流后,在菜单里选择”保存(API 格式)”,导出的 JSON 节点 ID 固定,可直接参数化调用:
import json, time, requests, uuidBASE = "http://127.0.0.1:8188"with open("workflow_api.json", encoding="utf-8") as f:workflow = json.load(f)# 节点 ID 以实际导出文件为准,这里假设 6 号节点是正向提示词workflow["6"]["inputs"]["text"] = "cinematic portrait of an old fisherman, 85mm, golden hour"workflow["3"]["inputs"]["seed"] = 12345client_id = str(uuid.uuid4())prompt_id = requests.post(f"{BASE}/prompt",json={"prompt": workflow, "client_id": client_id}).json()["prompt_id"]while True:hist = requests.get(f"{BASE}/history/{prompt_id}").json()if prompt_id in hist:for out in hist[prompt_id]["outputs"].values():for img in out.get("images", []):print(f"{BASE}/view?filename={img['filename']}"f"&subfolder={img['subfolder']}&type={img['type']}")breaktime.sleep(1)
工程化时建议:把提示词、seed、尺寸抽成外部参数;用队列控制并发,避免请求堆积;对失败任务做重试与日志留存。
七、从绘画到视频:ComfyUI 的视频工作流
ComfyUI 做 AI 视频主要有三条路线:
- AnimateDiff :在采样阶段插入运动模块,配合 VideoHelperSuite 输出 GIF/MP4。改动最小,适合让已有图”动起来”,但时长通常 16–32 帧,运动幅度有限。
- 图生视频大模型 :如 Stable Video Diffusion、WAN、HunyuanVideo、LTX-Video 等,权重放入
models/diffusion_models,用官方视频模板起步,显存需求普遍 16–24GB 起。 - 首尾帧 + 插帧 :给定首帧与尾帧做过渡,再用插帧节点补帧到 24fps,可控性最好,适合广告分镜。
实操建议:先固定角色与场景(用同一 LoRA + 固定 seed 出关键帧),再逐段生成 3–5 秒片段,最后拼接。直接一次性生成长视频,几乎必然出现主体漂移。
八、显存不够怎么办:本地部署与云端 API 的取舍
| 场景 | 推荐方式 | 理由 |
|---|---|---|
| 学习工作流、调试节点 | 本地 ComfyUI(SD1.5/SDXL) | 免费、迭代快 |
| 批量生产、并发高 | 云端 GPU 实例或托管 API | 弹性扩容,无需运维 |
| 只想集成出图能力 | 直接调用文生图 API | 免部署,按量付费 |
| 视频生成 | 云端 GPU 为主 | 本地消费级卡显存不足 |
判断成本时不要只看单价,要把”重试率、平均出图耗时、并发配额”一起算进去。在 词元所的大模型 API 服务平台 上可以横向对比不同模型的调用价格与能力定位,再用统一 API 方式接入,避免为每个模型单独写一套 SDK 适配代码——这对需要同时维护”文生图 + 文生视频 + 文本改写提示词”多类模型的项目尤其省事。
九、常见问题速查
- 爆显存(CUDA out of memory) :加
--lowvram,降低分辨率与 batch,视频模型改用量化权重。 - 出图偏色/发灰 :换 VAE(如 sdxl-vae-fp16-fix),或检查是否 fp16 溢出。
- ControlNet 无效果 :确认预处理器输出正常、
strength不为 0、模型与基础模型版本匹配(SD1.5 的 ControlNet 不能用于 SDXL)。 - 自定义节点报错 :先看启动日志的 import 失败项,多为依赖版本冲突,建议在独立虚拟环境中安装。
- 中文界面 :打开 Settings,在 language 选项中切换即可。
十、一条务实的学习路径
按”环境 → 模型 → 文生图 → 图生图 → 节点扩展 → ControlNet → 在线/云端工作流 → 视频实战”的顺序推进,每一步都用同一个题材(比如同一个人物)反复出图对比参数,比换十个题材泛泛而练有效得多。工作流文件务必做版本管理,命名建议带上模型、参数与用途,例如 sdxl_portrait_controlnet_depth_v3.json。
最后提醒一点:无论本地跑还是调 API,提示词与工作流都是可迁移资产。把调好的流程沉淀成模板,再在 百度智能云词元所 这类平台上完成模型选型与调用管理,就能把”会出图”变成”能稳定交付”。

登录后可评论,请前往 登录 或 注册