前言

所谓文生图,就是根据想要的画面,输入画面上的元素、风格等词汇(正向提示词),同时输入不希望画面出现的元素(负向提示词),Comfyui经过一系列流程,生成一幅画面。详细原理请参考这篇文章:[图片生成原理简述]
什么是节点

===

节点(node),是Comfyui的功能基础单元。

Comfyui的工作原理,就是通过将功能拆分成独立的节点,每个节点负责完成特定的功能。一个节点包含不同的数据和控件,节点通常包含入口和出口,不同的节点相互连接,就组成了工作流,可以实现特定的任务。

在 Comfyui 中,每个节点表示一个特定的任务或操作,例如数据处理、图像处理、计算、输入输出等。节点之间通过输入和输出端口进行数据传递,输入端口接收来自其他节点的数据,输出端口将处理结果传递给其他节点。这种数据流的方式使得节点之间的耦合度较低,易于维护和扩展。

我们经常听到的 Comfyui插件(节点包),就是开发者将各种特定的功能组合成一个个节点,再整合成一个节点包。安装好节点包之后,就可以调用节点,进行功能操作。

节点具有以下特点:

  1. 独立性:每个节点都是独立的模块,可以单独测试和调试。

  2. 可重用性:节点可以被多次使用,提高复用性。

  3. 可组合性:节点可以灵活地组合在一起,形成不同的流程。

  4. 可扩展性:可以方便地添加新的节点,扩展程序的功能。

  5. 可视化:用户可以通过拖拽和连接节点来构建程序,降低了使用的门槛。

所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~在这里插入图片描述

基础节点介绍

1. Checkpoint 加载器:

大模型可以理解为图像数据的大仓库,决定了AI图片的主要风格。

Checkpoint****名称选择框:在这里选择需要的基础模型。

**节点连接:**可以看出,基础模型节点没有入口,说明它是一个根节点,所有工作流都以此为始。出口则有三个:模型,CLIP,VAE。分别可以连接到需要的入口。

2. 正向提示词(CLIP文本编码器):

这个节点提供了一个文本输入框,在这里可以输入正向提示词。

3. 负向提示词(CLIP文本编码器):

这个节点跟上面的一模一样,在这里可以输入负向提示词,右侧的条件出口连接到何处(正向条件或负向条件),决定了节点的性质。

4. 空Latent节点

空Latent(空的潜空间)节点。Latent类似画布,文生图可以理解为在一张空白画布作画。

如果你需要调整最终生成的图片的大小,就需要调整 宽度、高度这两个值。而批次大小则是设置每次运行时生成的图片数量,比如你将这个设置成了 4,就意味着每次会生成 4 张图。

如果你使用的是 SD1.5 模型的话,最优的大小是 512x512,部分基于 SD1.5 微调的版本也支持 768x768。所以其常见宽高比有:

  • 1:1(正方形):512x512、768x768

  • 3:2(横向):768x512

  • 2:3(纵向):512x768

  • 4:3(横向):768x576

  • 3:4(纵向):576x768

  • 16:9(宽屏):912x512

  • 9:16 (竖屏): 512x912

如果你使用的是 SDXL 模型的话,最优的大小是 1024x1024,其常见宽高比有:

  • 1:1(正方形):1024x1024、768x768

  • 3:2(横向):1152x768

  • 2:3(纵向):768x1152

  • 4:3(横向):1152x864

  • 3:4(纵向):864x1152

  • 16:9(宽屏):1360x768

  • 9:16(竖屏):768x1360

最后,需要注意宽度和高度必须能被 8 整除。

5. K采样器(KSampler)

采样器是 Comfyui 任何一个工作流的核心节点。

众所周知,当我们使用Stable Diffusion时,它首先会创建一张充满噪声的原始图像,之后逐渐去除图像中的噪声。这个过程就像是雕刻:原始噪声图就像是雕刻的原料,去噪的过程就像是用雕刻刀去除废料,最后生成的图片就像是雕刻成型的作品。这个去噪的过程,就被称为采样。

K采样器包含以下参数:

  • 随机种(seed):随机种子主要用于控制潜空间的初始噪声。如果你想重复生成一模一样的图片。就需要用到这个随机种子。

  • 运行后操作(control_after_generate):每次生成完图片后,上面的 seed 数字都会变化,而这个配置项,则是设置这个变化规则:randomize(随机)、increment(递增 1)、decrement(递减 1)、fixed(固定)。

  • 步数(step):采样的步数。具体使用多少步数,跟使用的模型有关。

  • CFG:全称 Classifier Free Guidance,这个值也跟使用的模型有关,一般不会高于8。

  • 采样器(sampler_name):采样器名称。你可以通过这个来设置采样器算法。

  • 调度器(scheduler):调度器主要是控制每个步骤中去噪的过程。你可以通过它选择不同的调度算法,有些算法是选择每一步减去相同数量的噪声,有些则是每一步都尽可能去掉多的噪声。

  • 降噪(denoise):表示要增加多少初始噪声,1 表示全部。一般文生图你都可以默认将其设置成 1。

===

6. VAE解码(VAE Decoder)

采样器处理好的图像信息,并不是我们熟知的像素信息。所以需要通过VAE解码器将潜在信息解码成像素信息。

7. 保存图像

这里可以设置图像的文件名前缀。

生成好的图像会自动保存在ComfyUI_windows_portable\ComfyUI\output\ 文件夹里。

以上就是对 ComfyUI 最基本的文生图工作流的介绍。这个工作流包含了AI扩散模型生成图像的基本原理,不管多么复杂的工作流,都是在此基础上发展起来的。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐