AI绘画:利用ComfyUI串联Refiner模型进行文生图细化提升绘图质量
ComfyUI
最强大且模块化的具有图形/节点界面的稳定扩散GUI。
项目地址:https://gitcode.com/gh_mirrors/co/ComfyUI
免费下载资源
·
在上一篇教程中,我们学习了如何使用ComfyUI进行基础的文生图操作。本文将带你进一步探索如何将Refiner模型整合到你的工作流中,以实现更精细的图像细化。通过本教程,你将能够掌握如何使用Refiner模型来提升你的AI绘画作品的细节和质量。
简化教程:
首先,我们需要在流程中添加Refiner模型。
- 打开之前的文生图流程。
- 在流程的适当位置(例如文生图下方),添加一个新的
Checkpoint加载器
节点。 - 将该加载器的模型更改为Refiner模型。
关键词输入
为了使Refiner模型能够使用相同的关键词,我们需要进行一些调整。
- 在原有的
CLIP文本编码器
节点上,右键点击并选择“转换文本为输入”。 - 新建一个
Primitive元节点
作为输入关键词的节点。 - 将
CLIP文本编码器
的输出连接到Primitive元节点
的输入。 - 复制一组
CLIP文本编码器
节点,用于连接Refiner模型。
使用K采样器(高级)
在细化流程中,我们需要使用高级采样器来控制生成过程。
- 选择
K采样器(高级)
而不是普通的K采样器。 - 在高级采样器中,设置
添加噪波
、开始降噪步数
、结束降噪步数
和返回噪波
选项。- 对于基础模型的采样器,启用
添加噪波
,从第0步开始降噪。 - 对于Refiner模型的采样器,禁用
添加噪波
,开始降噪步数与基础模型的结束步数相对应,结束步数默认即可。 - 启用基础模型采样器的
返回噪波
,禁用Refiner模型采样器的返回噪波
。
- 对于基础模型的采样器,启用
- 连接基础模型和Refiner模型的采样器。
VAE解码及保存图像
接下来,我们需要连接VAE解码和保存图像的节点。
- 将Refiner模型的采样器连接到VAE解码节点。
- 可以选择任何一个大模型的VAE进行连接,或者通过
VAE加载器
加载一个VAE模型。 - 运行流程并检查是否有错误。
详细操作和截图:
打开流程
加载Refiner模型
首先,我们需要在流程中添加Refiner模型。如果你已经有一个正在运行的基础文生图流程,可以直接在其下方添加新的节点。
- 在ComfyUI界面中找到空白区域,右键点击选择“新建节点” -> “加载器” -> “Checkpoint加载器”。
- 将新添加的Checkpoint加载器的模型更改为Refiner模型。
关键词输入
为了简化操作,我们可以将已有的关键词输入复用到Refiner模型中。
- 在原有的“CLIP文本编码器”节点上右键点击,选择“转换文本为输入”。
- 新建一个“实用工具” -> “Primitive元节点”作为输入关键词的节点。
- 将“CLIP文本编码器”的输出连接到“Primitive元节点”的输入,这样关键词就会显示在新的节点上,并且可以进行修改。
- 复制一组“CLIP文本编码器”节点,并将它们连接到Refiner模型。
使用K采样器(高级)
为了适应Refiner模型的工作方式,我们需要使用“K采样器(高级)”。
- 在Refiner模型中选择“K采样器(高级)”。
- 在采样器设置中,调整“添加噪波”、“开始降噪步数”、“结束降噪步数”和“返回噪波”选项以匹配Refiner模型的需求。
- 连接Refiner采样器的“Latent”输出到Base采样器的相应输入。
VAE解码及保存图像
连接VAE解码和保存图像节点,以便在细化过程中生成和保存图像。
- 将Refiner采样器的输出连接到VAE解码节点。
- 根据需要,可以选择连接到任何一个大模型的VAE,或者通过“VAE加载器”加载一个单独的VAE模型。
知识点扩展
为了简化操作和流程管理,我们可以将一些常用的参数提取出来,使用“Primitive元节点”进行统一管理。
- 在Base采样器上右键点击,选择“转换步数为输入”和“转换结束降噪步数为输入”。
- 在Refiner采样器上右键点击,选择“转换步数为输入”和“转换开始降噪步数为输入”。
- 新建“Primitive元节点”作为输入节点,用于统一设置步数和结束/开始降噪步数。
最终效果:
结语
通过本教程,你现在应该能够熟练地在ComfyUI中串联Refiner模型进行文生图细化操作。这将极大地提升你的创作效率和作品质量。记得在完成流程后保存你的工作,以便将来可以重复使用或进行进一步的优化。不断实践和探索,你将能够充分利用ComfyUI和Refiner模型的强大功能,创作出更加精彩的AI艺术作品。
最后的最后,如果你足够懒,学习了上述内容后,直接下载已经做好的流程图吧。附上这两张的附件(含完整流程图json):
链接: 百度网盘 提取码: 7800
GitHub 加速计划 / co / ComfyUI
44.41 K
4.72 K
下载
最强大且模块化的具有图形/节点界面的稳定扩散GUI。
最近提交(Master分支:1 个月前 )
1c08bf35 - 3 个月前
2a02546e
* add type hints to folder_paths.py
* replace deprecated standard collections type hints
* fix type error when using Python 3.8 3 个月前
更多推荐
已为社区贡献8条内容
所有评论(0)