ComfyUI 高级实战:极速稳定视频风格转绘
大家好,我是每天分享AI应用的萤火君!
重绘视频一直是短视频平台上的热点内容,流量不错。重绘视频一般是将真实视频重绘为动漫风格,或者是使用新的人物形象重放视频中的人物动作,再或者只是重绘视频中的部分内容,形式上可以有很多玩法,可以创作出很多有趣的内容。
在之前的文章中我分享过使用 TemporalKit 和 EBSynth 转换视频风格的方法,不过生成出来的视频闪烁比较厉害,效果不是太好,而且生成过程特别繁琐,操作起来也比较困难。
最近我在使用 Animatediff 的过程中,发现这个工具也可以转换视频风格,而且可以把视频画面处理的十分稳定,基本上没有什么闪烁;同时再结合字节开源的闪电模型,还可以大幅提升视频的生成速度;另外使用 ComfyUI 还可以直接把音频合成进来。一站式生成,个人感觉可以媲美收费的DomoAI了。
这篇文章我将会分享两种转绘方法:姿势转绘、风格转绘。
话不多说,先看看效果吧(视频不方便,先放几张截图):
ComfyUI介绍
有的同学可能还不知道 ComfyUI 是什么,我这里做一个简单的介绍。
ComfyUI 是一个基于扩散模型的AI绘画创作工具,扩散模型就是大家常说的 Stable Diffusioin,简称SD。
使用SD进行AI绘画的常用工具还有 Stable Diffusion WebUI,有时也简称 SD WebUI,SD WebUI入门比较简单,适合新手,但是可定制性稍微差点,很多作品不容易传播复现,使用API进行操作也有一定的难度。
ComfyUI 使用工作流的方式,可定制性很强,可以让创作者们搞出各种新奇的玩意,也可以实现更高的自动化水平,创作方法更容易传播复现,发展势头特别迅猛。
不过 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。为了让大家能够快速地把这个工具用起来,我将会介绍 ComfyUI 的一些基础概念和基本使用方法,并分享一些热门AI绘画作品的创作方法,感兴趣的同学请及时关注。
ComfyUI安装
安装 ComfyUI 的难处
ComfyUI 本身是一个开源软件,大家可以安装到自己的电脑上使用。
但是但是事情往往没有说起来这么简单:
- 首先你要通过Github来下载程序,后续还要下载大量的模型,这需要特殊网络设置;
- 然后你还要懂点电脑技术,需要执行一大堆的命令;
- 最后你还要有一个牛逼的Nvidia显卡,显存8G起步,越大越好。
前两个花点小钱就能解决,最后这个要求可是要花大价钱的,差不多的3090显卡就需要七八千,玩起来没压力的4090更需要1.5个W左右。
当然,如果上边的这三个要求对你来说都是小菜一碟,你可以看看我这篇文章:
云环境免费使用
你可能只是想试试,也不知道自己能不能玩的起来,或者说就处理几张图片,难道就没有别的办法了吗?
有!使用云服务器。
- 最近乘着AI的狂风,京东也大举进入AIGC领域了,新用户赠送两个小时的使用时长,足够我们应应急或者尝尝鲜了。这两天搞活动,每小时竟然降低到了1毛8,这个羊毛薅的都有点不好意思了~
- 我也在京东云上制作了一个 ComfyUI 的镜像,内置了常见的模型和工作流(包括本文介绍的抠图工作流),不用费劲吧啦的安装,点点鼠标,就能开始创作。
也就是说你不用特殊网络,也不用自己安装,更不用花钱,就可以体验到这个强大的AI绘画工具。
京东云赠送的使用时长通过代金券的形式发放,发消息“京东云”到公众号“萤火遛AI”,即可领取。
下面介绍下在京东云快速启动 ComfyUI 实例的方法:
京东云官方地址:京东云,注册登陆就不说了,相信大家应该都能搞定。
领取到代金券后,请在“费用”-“代金券管理”中激活代金券,操作如下图所示。
然后我们就可以去开AI服务器了,访问地址:京东云控制台
请按照下边的步骤创建AI服务器:
1、首先在“实例列表”页面点击“创建”:
2、在打开的“购买GCS实例”页面点击“按配置”,这种就是按使用量计费,GCS目前按照分钟计费。页面上没有显示常见的显卡型号,不过经我实际测试,目前配置的是RTX 4090显卡的GPU实例。
3、还是在“购买GCS实例”页面,我们移动到下方,应用这里选择“ComfyUI”,注意其中提到这是“萤火遛AI定制版本”,是萤火君专门给大家定制的,填了很多坑。因为上边已经激活了代金券,所以直接点击“立即购买”就可以了。
4、返回到GCS实例列表页面,等待GCS实例创建成功。
实例启动成功后,状态会显示“运行中”,我们只要依次点击“应用”-“自定义应用”,就可以在浏览器中打开ComfyUI了,不用执行任何技术命令,是不是很爽!
当然如果你要进行一些技术操作,也可以通过实例提供的 JupyterLab 去完成。
目前京东云还没有停止服务器的功能(据打听正在开发中),用完了记得点击“释放”,以免继续扣费。
5、加载工作流:如下图所示,初次打开是英文界面,先切换到中文;然后“加载”按钮右侧有个下拉按钮,点击就可以加载镜像内置的工作流。如果你想加载本地工作流,点击“加载”按钮本身就可以了。
姿势转绘演示
加载工作流
首先加载 ComfyUI 工作流,当前演示工作流可在文末获取。我制作的镜像已经内置此工作流,请按照下图的方式,点击“加载”旁边的下拉按钮,依次点击“视频处理”-“人物动作转绘-闪电Animatediff”。
加载视频
工作流界面的最左边有个“加载视频”的节点,如下图所示:
注意这里有两个参数:
强制帧率:帧率就是每秒多少张画面,默认的帧率一般是30,但是实际上设置为16,看起来也差不多,帧数少了,处理的数据也少,可能更快的生成视频。
强制尺寸:上传的视频过大了,处理的慢,过小了效果不好,这里强制下视频的高度为1024,宽度自适应。
设置SD参数
这里用到了提示词反推,因为SD模型生成图片需要提示词,但是每次写提示词真的很烦,所以这里用了一个模型来反推提示词,再和通用的提示次组装到一起使用。
设置 ControlNet 参数
为了引用原视频中的姿势,这里使用了一个ControlNet。首先通过“DW姿态预处理器”提取人物的姿态,这个处理器提取出的姿态比较细腻,包括人物的手部动作,效果会好一些,然后再把这些图片送入ControlNet应用。
注意ControlNet模型区分SD1.5和SDXL版本,需要和SD基础模型匹配,不要选错了。
设置 Animatediff 参数
这里为了加速视频生成,使用了字节跳动开源的闪电模型,4步就可以生成高清图片。注意采样器中的步数也要设置为4,CFG设置为1,不要太大,容易崩图。
最后我们点击“添加提示词队列”,等着生成视频就行了。
生成好的视频会出现在工作流的最右侧,点击右键可以下载到本地。
风格重绘演示
加载工作流
首先加载 ComfyUI 工作流,本文演示使用的工作流请在文末获取。如果你使用的是我制作的镜像,请按照下图的方式,点击“加载”旁边的下拉按钮,依次点击“视频处理”-“精细风格转绘-闪电Animatediff”。
加载视频
在工作流最左侧有一个“加载视频”节点,我们需要选择要进行风格重绘的视频,操作如下图所示:
为了加快转换速度,这里调整了帧率和视频的尺寸,视频默认的帧率一般是30,也就是每秒30个画面,一般调整到一半也不会有太大的影响,但是要处理的数据就会减少一半;视频尺寸太大的话,处理起来慢,尺寸太小的话,效果不好,这里将高度调整为1080,宽度自适应。大家可以根据自己的实际情况进行调整。
设置SD参数
在工作流的中间找到“Checkpoint加载器”和“CLIP文本编码器”节点。“Checkpoint加载器”是用来加载SD基础模型的,这里就是选择你要重绘的风格模型。“CLIP文本编码器”是用来编码提示词的,提示词需要根据画面内容做一个简单的编写,不用太复杂,因为我们使用了4步闪电模型,反向提示词也不需要填写。
设置 Animatediff 参数
在“Checkpoint加载器”节点的右侧,我们可以看到“Animatediff加载器”和“K采样器”,这两个需要搭配使用。
- “Animatediff加载器”这里需要设置Animatediff动画模型,我使用的是字节开源的4步闪电模型,速度很快,推荐大家也试试,模型可以在文末下载。
- “K采样器”这里的步数需要和Animatediff动画模型适配,因为我使用的是4步闪电模型,所以这里采样步数设置为4就行了,CFG这里不要设置的太高,一是闪电模型支持的不好,二是太高了模型根据提示词发挥的太多,重绘效果可能不好。
设置完这几个参数,我们点击“添加提示词队列”,等着生成视频就行了,生成好的视频会出现在工作流的最右侧,点击右键可以下载到本地。
工作流中还用了两个ControlNet控制器,有兴趣的可以去调整下各个参数,看看效果如何。
不会用的可以链接我。
资源下载
本文用到的工作流、插件和模型,我已经整理好,发消息“视频重绘”到公众号“萤火遛AI”,即可领取。
另外我创建了一个AI绘画专栏。加入专栏,可以零门槛,全面系统的学习 Stable Diffusion 创作,让灵感轻松落地!如有需要请点击链接进入:https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6
以上就是本文的主要内容。
用好 ComfyUI:
- 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
- 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。
我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 Stable Diffusion,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。
更多推荐
所有评论(0)