Stable Video Diffusion(SVD)的安装与测试

作者:问题终结者2024.02.28 08:00浏览量:8

简介:介绍如何安装和测试Stable Video Diffusion(SVD),包括ComfyUI Manager和SVD模型的安装,以及生成视频效果的测试。

千帆应用开发平台“智能体Pro”全新上线 限时免费体验

面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用

立即体验

Stable Video Diffusion(SVD)是一款AI生成视频效果的技术,由stability AI发布。为了测试SVD的效果,需要先进行安装和配置。下面将介绍安装和测试SVD的步骤。

首先,确保已经安装了ComfyUI Manager。ComfyUI Manager是一个用于管理AI生成内容的工具,其中包括SVD插件。如果没有安装,可以在GitHub上找到ComfyUI Manager的安装地址并按照指示进行安装。

安装完ComfyUI Manager后,打开Manager应用。在Manager中,点击“Install Custom Nodes”,然后在搜索框中输入“svd”,选择安装“ComfyUI-SVD”插件。

接下来,需要安装SVD的模型。关闭刚才的页面,再打开“Install Models”,安装SVD的model。

完成安装后,就可以开始测试SVD的效果了。首先简要介绍一下SVD的两个模型:SVD和SVD-XT。SVD能够生成帧率14、分辨率576x1024的视频,最低显存要求16G。SVD-XT是SVD的finetune升级版,分辨率576x1024,但能够生成帧率25的视频,最低显存得20G左右。

进行测试时,需要注意以下几点:

  1. 本地安装非常不方便,建议直接在autoDL云端寻找镜像,使用A5000显卡和24G显存进行测试。这样可以确保不会因为显存不足而影响测试结果。
  2. 在生成视频时,可以先使用SD生成576*1024的图片,然后把图片直接扔到SVD里面生成。目前没有提示词输入框,只有图片生成视频。
  3. SVD能够自动检测到哪里要动,哪里保持静止,比runway的动画逻辑要好,不会随便扭曲主体物。
  4. 在设置帧数和帧率时需要注意,frame设置为25,帧率设置为10,整个视频的长度为2.5秒,视频总帧率是10。如果frame设置为25,帧率设置为25,视频长度为1秒,帧率25。也就是说无法生成25帧的4秒视频。

一些测试发现:

  1. 整个过程大概生成了近50个视频。先拿SD生成576*1024的图片,然后把图片直接扔到SVD里面生成。目前没有提示词输入框,只有图片生成视频。
  2. 视频效果还可以,但是分辨率和帧数比较低。
  3. 每一次生成的镜头逻辑都不一样,有点抽卡的感觉,目前没办法控制,期待后续优化。
  4. SVD能够自动检测到哪里要动,哪里保持静止,比runway的动画逻辑要好,不会随便扭曲主体物。
  5. 目前有点没搞清楚frame和帧数的区别。例如,frame设置为25,帧率设置为10,整个视频的长度为2.5秒,视频总帧率是10。如果frame设置为25,帧率设置为25,视频长度为1秒,帧率25。也就是说无法生成25帧的4秒视频。

以上是一些主观测试结果,欢迎指正!在实际应用中还需要进一步优化和改进SVD技术,以实现更高质量的视频生成效果和更快的生成速度。

article bottom image

相关文章推荐

发表评论