今天给大家带来了这一款超稳定视频转动漫风格工作流。视频转绘这么火的赛道下,老铁们怎么能不会呢。下面我们一起来看一看。先看下简单转绘的6秒视频,整体耗时大概在10分钟左右,视频的转绘效果及流畅度个人还是比较满意的。

DiffSynth-Studio介绍

这份完整版的工作流已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

**项目地址:

**

https://github.com/modelscope/DiffSynth-Studio

DiffSynth Studio 是一款 Diffusion 引擎。它重构了包括 Text Encoder、UNet、VAE 等在内的架构,在增强计算性能的同时保持了与开源社区模型的兼容性。并且提供了许多有趣的功能。

到目前为止,DiffSynth Studio 支持以下模型:

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

是的你没看错,连目前很火的Flux以及CogVideoX-5b也都是支持的。

视频合成:

img

长视频合成:

img

卡通着色:

img

视频风格化:

img

图像合成:

生成高分辨率图像,突破扩散模型的限制!支持Lora 微调。

img

img

img

好了,关于DiffSynth-Studio就简单介绍这么多,想了解更多详细的内容请访问上面的项目地址。

接下来我们看看基于DiffSynth-Studio的视频转动漫工作流。

工作流介绍

img

下载地址:**
**

https://www.liblib.art/modelinfo/756c4a2875c0418d9a63cb4d29f2cae7

工作流下载后导入到ComfyUI中,如果存在缺失节点,请根据提示进行缺失节点的安装,安装成功后记得重启哦。

ComfyUI-DiffSynth-Studio节点地址:

https://github.com/AIFSH/ComfyUI-DiffSynth-Studio

本工作流涉及到以下模型(已将需要的模型整理到了网盘,下方获取):
这份完整版的comfyui资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述
AnimateDiff、RIFE、textual_inversion、Annotators、controlnet、stable_diffusion/flat2DAnimerge_v45Sharp.safetensors

img

模型放置位置:

AnimateDiff、RIFE、textual_inversion放置目录:

ComfyUI\custom_nodes\ComfyUI-DiffSynth-Studio\models

img

Annotators、controlnet放置目录:

ComfyUI\models

stable_diffusion/flat2DAnimerge_v45Sharp.safetensors放置目录:

models/stable_diffusion/

img

整个工作流相对也比较简单,前半部分是需要转换视频的上传及模型、ControlNet控制节点。

img

后面两个节点分别是视频转绘处理Diffutoon节点和视频预览节点。在Diffutoon节点中可以调整生成视频的参数。这里通过start参数可以控制从视频的哪一秒开始着色转换,length可调整视频的生成长度。如果您的本地配置不高可以尝试降低animatediff_batch_size和animatediff_stride的值。

img
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐