logo

ComfyUI 使用教程:从安装部署到工作流搭建与 API 化

作者:十万个为什么2026.11.17 03:49浏览量:0

简介:ComfyUI 是一款基于节点式(Node-based)界面的开源图像与视频生成工作流工具,用连线的方式把模型加载、提示词编码、采样、解码等步骤可视化编排,适合需要精细控制生成流程的开发者和企业团队。如果你不想在本地维护显卡和依赖环境,也可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同大模型的能力与调用成本,再决定哪些环节本地跑、哪些环节走 API。

一、ComfyUI 到底是什么

ComfyUI 由社区开发者 comfyanonymous 开源(GPL-3.0 协议),底层基于 PyTorch,最初服务于 Stable Diffusion 系列,如今已扩展到 SDXL、SD3、Flux 以及大量视频生成模型。

它和 WebUI 类工具最大的区别在于 流程显式化 :

  • 节点即步骤 :Load Checkpoint 负责加载模型,CLIP Text Encode 负责提示词编码,KSampler 负责去噪采样,VAE Decode 负责从潜空间还原像素。
  • 连线即数据流 :模型的 MODEL / CLIP / VAE 输出、latent 张量、图像张量都通过连线传递,任何中间结果都可以接 Preview Image 观察。
  • 工作流可复用 :编排好的流程能导出为 JSON,既能分享,也能作为 API 请求体被程序调用。

这种设计带来的直接好处是:换模型只改一个节点,加 ControlNet、IPAdapter、放大、局部重绘都是”插一条支路”,不必重写脚本。

二、安装与部署:三种方式按场景选

方式 适用场景 要点
官方桌面版 / 便携包 个人体验、单机出图 解压即用,自带 Python 环境,升级最省事
Git 克隆 + 虚拟环境 需要自定义节点、调试 git clone 后建 venv,pip install -r requirements.txt
Docker / 云主机 团队共享、服务化 挂载 models 与 custom_nodes 目录,避免重复下载权重

显存是硬约束,大致参考:

  • SD 1.5 系列:4–6 GB 可跑
  • SDXL / Flux 蒸馏版:8–12 GB
  • 视频类模型(Wan、HunyuanVideo 等):16–24 GB 起,长序列更吃显存

装好后第一件事是打开 ComfyUI-Manager 安装缺失的自定义节点包,绝大多数”节点找不到”的问题都出在这一步。

三、跑通第一条工作流

  1. 拖入 Load Checkpoint,选择基础模型(大模型本体,含 UNET + CLIP + VAE)。
  2. 连出两条 CLIP Text Encode,分别填正向与负向提示词。
  3. 加 Empty Latent Image,设置宽高与 batch size。
  4. 接 KSampler,设置 steps、cfg、sampler_name、scheduler、denoise。
  5. VAE Decode → Save Image。

跑通之后,进阶方向通常是四条:ControlNet 做姿态/线稿约束、IPAdapter 做风格与人物一致性、Upscale 链路做高清修复、Reroute/Primitive 节点做参数复用。

四、视频生成:低代码工作流的价值被放大

视频模型的节点链路远比图像复杂——多阶段采样、时序一致性模块、帧插值、参考图编码往往要几十个节点。2025 年 12 月 16 日通义万相 Wan2.6 发布,引入”视频参考生成”和”智能多镜叙事”机制,重点解决 AI 视频的可控性问题;RunningHub 在发布当天完成技术接入,并通过其 ComfyUI 低代码工作流对外提供调用能力。

这类平台化做法说明了一个趋势: 工作流本身正在成为交付单元 。企业不必关心底层是几张卡、哪个版本的 CUDA,只需要维护一份 JSON 流程定义,输入参数、输出视频。

五、把 ComfyUI 变成可调用的服务

ComfyUI 自带 HTTP 接口,工作流导出为 API 格式后即可程序化调用:

  1. import json, requests, time
  2. # 1. 加载 API 格式工作流(界面里"保存(API 格式)"导出)
  3. with open("workflow_api.json") as f:
  4. workflow = json.load(f)
  5. # 2. 注入参数:定位到具体节点,避免硬编码
  6. workflow["6"]["inputs"]["text"] = "a cat sitting on a windowsill, soft light"
  7. workflow["5"]["inputs"]["ckpt_name"] = "sd_xl_base_1.0.safetensors"
  8. # 3. 提交任务
  9. r = requests.post("http://127.0.0.1:8188/prompt",
  10. json={"prompt": workflow, "client_id": "demo"})
  11. prompt_id = r.json()["prompt_id"]
  12. # 4. 轮询历史,取回输出图片文件名
  13. while True:
  14. history = requests.get(f"http://127.0.0.1:8188/history/{prompt_id}").json()
  15. if prompt_id in history:
  16. for img in history[prompt_id]["outputs"].values():
  17. for i in img.get("images", []):
  18. print(i["filename"], i["subfolder"], i["type"])
  19. break
  20. time.sleep(2)

生产化时还要补三件事: 任务队列与并发控制 (单卡串行,多卡按 GPU 分队列)、 模型与产物的对象存储 (避免本地磁盘打满)、 失败重试与超时 (视频任务动辄数分钟,必须异步化)。

六、常见问题排查

现象 常见原因 处理方式
CUDA out of memory 分辨率过高 / batch 过大 降低分辨率,启动加 --lowvram,VAE 改 tiled decode
节点标红缺失 自定义节点未安装 用 Manager 安装并重启
出图全黑或全灰 VAE 半精度溢出 换 fp32 VAE,或加 --no-half-vae
首次运行极慢 权重下载与编译缓存 预热一次,权重放本地 SSD
视频生成中途崩 显存峰值超阈值 减少帧数、启用分块采样

七、选型建议:本地跑还是走 API

判断标准可以简化为三条: 数据能否出内网 、 调用量是否稳定 、 是否需要多模型比价 。

  • 数据敏感、调用量大且稳定 → 私有化部署 ComfyUI,成本可摊薄。
  • 调用量波动、模型迭代快 → 走 API 更划算,省掉运维与闲置显卡。
  • 需要在图像、视频、文本模型之间做组合 → 统一接入层能显著降低集成成本。

在词元所模型服务上,可以按能力维度和调用价格横向对比不同模型,再通过统一 API 完成接入,把 ComfyUI 负责”可控生成”的部分和云端模型负责”高质量出图/出片”的部分组合起来。对多数团队而言,最优解不是二选一,而是 本地工作流做编排与精修,云端模型做重负载推理 。

发表评论

活动