AIGC领域,有这么几个方向:写作、绘画、影视、音乐。

写作领域用的比较多的AI工具是chatgpt、KIMI等,那么绘画领域有哪些AI工具,你知道吗?

**最知名的有两款,一个是midjourney、另外一个是SD(stable diffusion)。**前者是收费的,但是可以在线使用,你不用准备硬件设备。后者是免费的,要布署到本地,它对显卡有一定的要求。

今天跟大家分享一下如何利用SD(stable diffusion)软件,来制作AI美女跳舞视频。

你没看错,是用绘画软件,来制作视频。

你一定在短视频平台刷到过AI美女跳舞的视频。这些美女形象都比较完美,或甜美、可爱,或性感火辣,又或清纯靓丽。做这些视频的人已经收获了大量的粉丝。

看完我的拆解,你也可以迅速去尝试一把。闲话不多说,上干货!

这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

请添加图片描述

第一步:剪辑视频

从短视频平台找到你喜欢的美女跳舞视频,去水印下载(不会的加老秦微信咨询),进行二创混剪,想省事儿,也可以整段拿来用。

挑选的素材尽量是正脸,别找那种特效多的,会有影响。

第二步:将视频拆帧

一般短视频的分辨率是1080 * 1920,帧率是30帧。也就是说,一秒钟共有30帧。

用SD(stable diffusion)中的插件Ebsynth utility,把视频拆成图片帧。比如一段8秒钟的视频,拆完后就得到240张视频帧图片。

我们要把这240张图的人物脸部,全部用AI工具进行替换,之后再重组合并成视频,就得到一个AI美女脸的视频。这就是视频制作原理,很容易理解 。接着看。

第三步:抽取视频关键帧

在对每帧图片进行换脸之前,思考个问题,这么多图片,每一张都换脸,是不是要耗费许多的时间?

**是的,很费时间,**还得要求你的电脑显卡必须是N卡,显存至少得是6G起步,最好是12G以上,同时电脑内存也要大,不然完不了。(显卡是A卡的,或者是苹果电脑的,只能靠CPU来运算,那就更慢了)。

你想想,这才8秒种的视频,就得处理240张图,如果视频时间再长一些呢!

为了缩短时间,我们从240张图中抽取一部分关键的帧图片出来进行换脸,比如每隔5秒钟抽一帧图,就样就得到50张左右的帧图。

我们只对这50张图进行换脸操作,这样时间就节省好多。

第四步:重绘关键帧

1、在SD(stable diffusion)软件中先选择要用的大模型,比较知名的写实风格的就用那个麦橘写实就行了。

2、准备好图生图的提示词,即prompt。有三种方法,一是自己纯手动写,得是高手才行,二是利用WD标签器反推人一张图上反推出提示词,然后你在基础上完善一下,三是从专业模型网站下载的样图会自带提示词及配置参数,可以一键导入。这里我们使用第二种方法。

前面不是已经得到了一些关键帧,挑选一张,用WD标签器反推得到一个提示词就好了。

上面说的是正向提示词,那么反向提示词(不希望SD生成的东西,比如6个手指、丑女之类)从网上找一些通用的就可以。

**3、选择脸型参考LORA。**你可以把lora理解成大模型的微调,以实现某些局部的调整。我们就用这种换脸专用的lora,俗称捏脸。以实现创造一个完美的AI美女出来。

**小提示:几个不同的美女lora,可以混合使用,**创造一个混血美女出来。注意的是几个lora要分配好权重,相加不能高于1,可能让图片崩掉。

**4、启用ADetailer。**可以实现脸部、手部控制。

**5、启用control net。**就控制以原视频帧图片为蓝本,来画新生成的AI美女图。

**6、在批量重绘50个关键帧之前,可以先单独重绘一个图,**看看AI美女效果,这个脸是不是你喜欢的,不喜欢就调整参数,直到满意为止。

效果确定满意后,用WD标签器,把50个帧图片都反推一下,得到50个图的提示词。

**7、然后回到图****生图,把重绘尺寸设置为720*1280,**也是为了减少重绘时间。

8、接着选择调用一个批量重绘脚本ISNET,设定好目录等参数,点击开始重绘。

最后,你就得到50张重绘后的新关键帧图片,脸部已经全部是你相要的AI美女了。

第五步:放大

这50张图,其分辨率是720*1280的,所以我们要再做一个放大图片的动作。

进入SD的【后期处理】功能模块,再进到【批量处理文件夹】,改一下放大后的分辨率为1080*1920,以及放大用的算法模型。在SD软件的后期处理中,常用的放大算法包括ESRGAN系列算法和4X-UltraSharp算法。

点击生成,就得到50张重绘并放大的清晰的AI美女图片。

第六步:补帧

这时候,就需要把50张图片,变成240张了。这个操作叫作补帧。

从第1张帧到第5帧之间补上3帧图、第5帧至第10帧之间补上4帧图,以此类推,补齐到240张。

先用Ebsynth Utility插件,把这50个新图进行重命名并处理后得到几个工程文件,后辍为ebs的工程文件。

然后再用桌面端的Ebsynth软件,运行这几个ebs工程文件,这样你就得到了240张新图片。

第七步:生成视频

继续回到SD中,使用Ebsynth Utility插件,将这240张新的AI美女脸的图片,合并生成视频。

你会得到两个视频文件,区别是一个有原始声音,一个没有声音。

至此,AI美女跳舞视频就完成了。

如果想拿去发布,还得进行二次创作,整一些滤镜、画中画、镜像等去重的标准操作。毕竟,你只是换了脸。但已经是原创度很高的作品了。

这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐