在上一篇教程中,我们学习了如何使用ComfyUI进行基础的文生图操作。本文将带你进一步探索如何将Refiner模型整合到你的工作流中,以实现更精细的图像细化。通过本教程,你将能够掌握如何使用Refiner模型来提升你的AI绘画作品的细节和质量。

简化教程:

首先,我们需要在流程中添加Refiner模型。

  1. 打开之前的文生图流程。
  2. 在流程的适当位置(例如文生图下方),添加一个新的Checkpoint加载器节点。
  3. 将该加载器的模型更改为Refiner模型。

关键词输入

为了使Refiner模型能够使用相同的关键词,我们需要进行一些调整。

  1. 在原有的CLIP文本编码器节点上,右键点击并选择“转换文本为输入”。
  2. 新建一个Primitive元节点作为输入关键词的节点。
  3. CLIP文本编码器的输出连接到Primitive元节点的输入。
  4. 复制一组CLIP文本编码器节点,用于连接Refiner模型。

使用K采样器(高级)

在细化流程中,我们需要使用高级采样器来控制生成过程。

  1. 选择K采样器(高级)而不是普通的K采样器。
  2. 在高级采样器中,设置添加噪波开始降噪步数结束降噪步数返回噪波选项。
    • 对于基础模型的采样器,启用添加噪波,从第0步开始降噪。
    • 对于Refiner模型的采样器,禁用添加噪波,开始降噪步数与基础模型的结束步数相对应,结束步数默认即可。
    • 启用基础模型采样器的返回噪波,禁用Refiner模型采样器的返回噪波
  3. 连接基础模型和Refiner模型的采样器。

VAE解码及保存图像

接下来,我们需要连接VAE解码和保存图像的节点。

  1. 将Refiner模型的采样器连接到VAE解码节点。
  2. 可以选择任何一个大模型的VAE进行连接,或者通过VAE加载器加载一个VAE模型。
  3. 运行流程并检查是否有错误。

详细操作和截图:

打开流程

加载Refiner模型

首先,我们需要在流程中添加Refiner模型。如果你已经有一个正在运行的基础文生图流程,可以直接在其下方添加新的节点。

  • 在ComfyUI界面中找到空白区域,右键点击选择“新建节点” -> “加载器” -> “Checkpoint加载器”。
  • 将新添加的Checkpoint加载器的模型更改为Refiner模型。

关键词输入

为了简化操作,我们可以将已有的关键词输入复用到Refiner模型中。

  • 在原有的“CLIP文本编码器”节点上右键点击,选择“转换文本为输入”。
  • 新建一个“实用工具” -> “Primitive元节点”作为输入关键词的节点。
  • 将“CLIP文本编码器”的输出连接到“Primitive元节点”的输入,这样关键词就会显示在新的节点上,并且可以进行修改。
  • 复制一组“CLIP文本编码器”节点,并将它们连接到Refiner模型。

使用K采样器(高级)

为了适应Refiner模型的工作方式,我们需要使用“K采样器(高级)”。

  • 在Refiner模型中选择“K采样器(高级)”。
  • 在采样器设置中,调整“添加噪波”、“开始降噪步数”、“结束降噪步数”和“返回噪波”选项以匹配Refiner模型的需求。
  • 连接Refiner采样器的“Latent”输出到Base采样器的相应输入。

VAE解码及保存图像

连接VAE解码和保存图像节点,以便在细化过程中生成和保存图像。

  • 将Refiner采样器的输出连接到VAE解码节点。
  • 根据需要,可以选择连接到任何一个大模型的VAE,或者通过“VAE加载器”加载一个单独的VAE模型。

知识点扩展

为了简化操作和流程管理,我们可以将一些常用的参数提取出来,使用“Primitive元节点”进行统一管理。

  • 在Base采样器上右键点击,选择“转换步数为输入”和“转换结束降噪步数为输入”。
  • 在Refiner采样器上右键点击,选择“转换步数为输入”和“转换开始降噪步数为输入”。
  • 新建“Primitive元节点”作为输入节点,用于统一设置步数和结束/开始降噪步数。

最终效果:

结语

通过本教程,你现在应该能够熟练地在ComfyUI中串联Refiner模型进行文生图细化操作。这将极大地提升你的创作效率和作品质量。记得在完成流程后保存你的工作,以便将来可以重复使用或进行进一步的优化。不断实践和探索,你将能够充分利用ComfyUI和Refiner模型的强大功能,创作出更加精彩的AI艺术作品。

最后的最后,如果你足够懒,学习了上述内容后,直接下载已经做好的流程图吧。附上这两张的附件(含完整流程图json):

链接: 百度网盘 提取码: 7800 

GitHub 加速计划 / co / ComfyUI
44.4 K
4.72 K
下载
最强大且模块化的具有图形/节点界面的稳定扩散GUI。
最近提交(Master分支:1 个月前 )
1c08bf35 - 1 个月前
2a02546e * add type hints to folder_paths.py * replace deprecated standard collections type hints * fix type error when using Python 3.8 1 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐