大家好,随着一点点的研究AI生成,发现要学习的东西确实很多,之前分享了一些Web UI的一些知识吧,接下来计划分享一些Comfy UI的一些知识。

Comfy UI相比Web UI就会相对复杂一些,新入手的小伙伴,最好还是先从Web UI先尝试起来,再慢慢过渡到Comfy UI上。

Comfy UI,首先它是以一种节点的方式,看起来就像是参数化的软件一样,它相当于把不同的插件以节点的方式呈现,所以我们就要大概的了解它生成的基本逻辑,这样就可以尝试制作自己的工作流了。

首先我们来尝试理解一下SD这个扩散模型的生成逻辑,首先我们有一个大模型,这个大模型里面就会包含三部分,分别是:Clip,VAE,U-net。VAE分为两部分,Encode可以理解为压缩,Decode就是解压缩,压缩到潜空间,然后通过U-net对潜空间的图形进行去噪,通过一步步的去噪就得到了一个干净的潜空间图像,再通过VAE对潜空间进行一个还原,然后我们的文生图,通过输入文本,经过clip编码conditioning条件信息来到U-net。latent大家可以把它理解成画板。

img

img

上面是文生图的工作流,左面第一个对应的就是大模型,里面我们可以选择想要调用的大模型。img

img

我们从clip这里直接拖出来松手,选择encode。

img

这里需要两个一个作为正向提示词,一个作为反向提示词。

img

然后拖动conditioning后面的小点,然后松手选择Ksampler,它其实是个采样器。

img

我们把大模型跟采样器连在一起。

img

我们现在做的是文生图,所以输入的latent其实就是个空的画板。那么从latent_image拖出节点,选择EmptylatentImage。

img

img

这里就可以选择我们生图时的尺寸,而下面就是可以一次生成几张图了。然后我们在通过采样器后面的latent拖出VAEDecode。

img

img

这里看到了一个VAE,我们把它跟之前大模型的VAE连接起来。现在我们也解码了,最好再加一个预览图片吧。通过拖出的方式选择,也可以选择saveimage。个人觉得没必要都保存,预览出来好的图像再手动保存好些,要不太多图了。

img

这样就都调整好了,写下提示词,尺寸,按快捷键ctrl+回车就是生成下图效果啦。

img

以上是文生图的工作流,那么图生图呢,那latent_image就不能是空的了,而且我们需要先加载一个图片。双击空白位置输入load,找到加载图像,然后再拖出VAEEncode,后面连接latent_image,前面连接VAE,这样图生图也搞定了,我们看一下。

img

最好调整一下采样器里面最后的denoise,就是重绘幅度,我这里设置了0.8,然后生成就好了,怎么样还跟着做一下可能就没那么难了,动手试试吧。

img

最后记得另存一下,这样你就有了一个自己从头开始做的,文生图跟图生图工作流啦。

以上就是本次分享的全部内容了,喜欢的家人们给点个赞,让我们一起进步吧。

为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐