logo

ComfyUI 怎么用?图生视频工作流从报错到跑通

作者:新兰2026.11.17 03:50浏览量:0

简介:ComfyUI 图生视频工作流第一次打开,右上角几乎一定挂着红色的“缺少模型(Missing Models)”——这不是软件坏了,而是工作流只定义了节点与连线,权重需要你自己补齐。本文按 Step 1–4 的顺序,把模型下载放置、图片输入、Create Video 与 Save Video 连线、参数与显存调优一次讲清。如果你在跑图生视频之外还要用大模型做提示词扩写、分镜文案生成,可以先了解[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它能帮你对比不同模型的能力与调用成本,并用统一 API 接入。

一、先理解 ComfyUI 的运行逻辑

ComfyUI 是面向 Stable Diffusion 系列的 节点式图形界面 ,它把图像(视频)生成过程拆成一个个独立节点:加载模型、文本提示、采样、VAE 解码、保存输出,每个节点只负责一件事,节点之间用输入输出线连成完整工作流。

这带来两个直接后果:

  • 好处 :工作流可复用、可分享、可版本管理,换一个模型只需换加载器节点,不用重搭流程。
  • 代价 :工作流文件(.json / .png 内嵌工作流)里通常 不包含权重 ,别人分享给你的工作流,第一次打开必然缺模型。

所以“谁会 ComfyUI”这个问题的答案,本质上不是会不会点按钮,而是 能不能读懂节点依赖、把缺的东西按规则放对位置 。

二、开工前的三项准备

1. 磁盘容量要留足。 图生视频比文生图重得多,通常涉及视频生成主模型(DiT 权重)、文本编码器、VAE,单个文件动辄十几 GB,一个工作流补齐 6 个模型吃掉上百 GB 是常态。建议预留 200GB 以上可用空间,并放在 SSD 上。

2. 显存决定你能跑什么参数。 官方工作流里给的参考注释非常值得先读:

  1. Testing on RTX 4090 24GB
  2. - Size: 640×640
  3. - Frame count: 81
  4. - VRAM usage: 84%
  5. - Duration: 557s

也就是说,24GB 显存跑 640×640、81 帧,显存占用约 84%,耗时约 9 分钟。如果你的卡是 12GB 或 8GB,默认参数大概率会中途 OOM(爆显存)——这不是配置错误,而是资源不匹配。

3. 目录规范。 模型必须放对文件夹,ComfyUI 靠目录约定来索引:

  1. ComfyUI/
  2. ├── models/
  3. │ ├── checkpoints/ # 大模型主权重
  4. │ ├── diffusion_models/ # 视频/ DiT 类模型常放这里
  5. │ ├── vae/ # VAE
  6. │ ├── text_encoders/ # 文本编码器 / CLIP
  7. │ ├── clip_vision/
  8. │ └── loras/
  9. ├── input/ # 输入图片
  10. └── output/ # 输出图片与视频

放错目录的表现就是:文件明明在硬盘上,节点下拉框里却看不到。此时刷新页面即可重新扫描;仍不出现,检查文件名是否被浏览器改成了 .safetensors.txt 这类双后缀。

三、Step 1–4:把工作流跑通

Step 0:补齐缺失模型。 点击右上角 Missing Models 提示,侧边栏会列出每个缺失节点的下载链接,直接复制链接用下载工具(或 wget / aria2c)拉取,然后按上面的目录规则归位,刷新工作台页面,模型即正常加载。

Step 1:准备输入图片。 工作流示例通常会给出几张参考图链接,在浏览器中 Ctrl + 鼠标左键 打开原图,右键“图片另存为”,然后分别上传到 4 个 Load Image 节点。注意上传顺序对应不同节点,别一股塞进一个节点。

Step 2:加入视频合成节点。 双击画布空白处,输入 Create Video,回车创建;把它拖到合适位置,用连线接入采样链路。最后把帧率 fps 设为 16 ——这个值直接决定成片节奏,16fps 是当前多数图生视频模型的常用档位。

Step 3:加入输出节点。 从 Create Video 的输出端口 按住鼠标往画布空白处拖出 ,松手后在搜索框输入 Save Video 选中创建,这样连线会自动带过来,比先建节点再手动连线更省事。

Step 4:运行。 点击 Queue Prompt。首次运行会下载/加载权重,进度条长时间不动是正常的。

几个能显著提速画布操作的小技巧:拖动画布空白处平移,滚轮缩放,按住空格移动鼠标快速平移;想彻底重来,点菜单里的“加载默认值”。

四、显存爆了怎么办:按代价从小到大排

手段 具体做法 代价
降分辨率 640×640 → 512×512 或 480×832 细节略降,最有效
降帧数 81 帧 → 49 / 33 帧 时长变短,可后期补帧
分块解码 启用 VAE 的 tiled decode 选项 速度略慢,显存大降
量化权重 换 fp8 / GGUF 量化版本模型 画质轻微损失
启动参数 --lowvram(8GB 以上)或 --novram(更低) 速度明显下降
释放占用 关闭浏览器硬件加速、其他占显存程序 无

实操建议: 先降分辨率,再降帧数,最后才动量化和启动参数 。因为前两者对显存的影响是线性且可预测的,而量化版本的质量损失因模型而异,需要自己试。

另外,工作流里那个注释节点不是装饰——它是作者给你的 基准线 。你跑完之后对比自己的显存占用和耗时,就能判断瓶颈在显卡算力还是在内存/磁盘 IO。

五、不想折腾本地环境?直接上云端

ComfyUI 环境配置(CUDA、PyTorch、xformers 版本对齐)是新手最大的门槛。如果只是想快速跑通,用云平台的 工具市场 会省很多事:在百舸平台工具市场选择 ComfyUI 模板,点击“部署工具”,按需选择使用卡数量(至少 1 张),确认后等待启动即可。部署成功后,在工具详情里点击“登录”即可查看 WebUI 访问地址与账号密码。

两个实用补充:

  • 中文界面 :登录 WebUI 后默认英文,打开 ComfyUI 的 Settings,在 language 选项中切换语言即可。
  • 复用已有模型 :不想重复下载几十 GB 权重,把 ComfyUI 根目录下的 extra_model_paths.yaml.example 重命名为 extra_model_paths.yaml,编辑其中路径指向你现有的模型目录,重启 ComfyUI 生效。新模型放入 models/checkpoints 后同样需要重启才能加载。

调试阶段还有个提效技巧:把 Save Image 节点右键 Remove,双击画布输入 preview 添加 PreviewImage,再把 VAE Decode 的 IMAGE 输出连到 PreviewImage 的 images 输入,这样每轮生成直接预览、不落盘,省掉大量无效文件。

六、ComfyUI 的短板,用大模型 API 补齐

图生视频的效果,一半取决于模型,另一半取决于 提示词质量 。而 ComfyUI 本身并不擅长长文本理解和语义扩写——你写“女孩在跑”,模型只能给你“女孩在跑”;你写一段有镜头语言、光影描述、运动方向的完整 prompt,成片质感完全不同。

这时候可以把文本侧交给大模型 API:让模型根据你的简短描述扩写成结构化提示词(主体 + 动作 + 镜头 + 光线 + 风格 + 负面词),甚至批量生成分镜脚本,再喂给 ComfyUI 的 CLIP Text Encode 节点。

选型时建议关注三件事: 中文语义理解是否到位、长文本是否稳定、单位 Token 成本是否可接受 。百度智能云词元所 提供模型发现与选型、价格与性能对比、多模型统一 API 接入等能力,你可以在同一个入口横向比较不同模型在提示词扩写这类任务上的表现与调用成本,避免为了一个小功能同时维护多套 SDK 和密钥。

七、常见问题速查

  • 节点下拉框没有模型 → 目录放错 / 文件后缀不对 / 未刷新页面。
  • Missing Models 一直存在 → 检查是否漏了 text encoder 或 VAE,这两类最容易被忽略。
  • 跑到一半 OOM → 按第四节表格顺序调参,优先降分辨率。
  • 生成成功但 output 里没文件 → 缺 Save Video 节点,或输出目录权限问题。
  • 视频卡顿不连贯 → fps 设置过低或帧数不足,尝试 16fps + 更多帧。
  • 首次运行极慢 → 权重加载与编译开销,第二次会明显加快。

结语

ComfyUI 的学习曲线不在界面,而在 依赖管理 和 资源匹配 :看懂工作流缺什么、放哪里、你的卡能撑多大参数,这三件事想清楚,绝大多数图生视频工作流都能顺利跑通。本地环境适合深度调试和批量出图,云端部署适合快速验证和弹性扩容,两者可以并行使用。而当你把工作流跑通、开始追求成片质量时,别忘了提示词这一环——用词元所 这类平台做好模型选型与成本对比,往往比换一张显卡的性价比更高。

发表评论

活动