在上一文中，已经介绍过如何在 Windows 本地运行大模型，以及运行 Open-WebUI 来使用大模型。本文将介绍如何使用 Open-WebUI 与 AI 绘画工作流工具 ComfyUI 集成，实现文生图功能。

​

准备软件

1. Open-WebUI；
2. ComfyUI 软件；
3. AI 绘图大模型。

​

流程概览

1. 部署 ComfyUI 软件；

2. 配置绘图工作流；

3. 导出与集成工作流；

4. 验证。

​

集成前的验证

与 AI 绘图工具集成前，Open-WebUI 对话框内默认并不能生成图片。在下方功能按钮处，也没有可以点击进行文生图的按钮。

​

配置过程

一. 部署 ComfyUI

什么是 ComfyUI ？

ComfyUI 是一个开源的、基于节点的程序，主要用来根据提示词生成图像。它利用诸如 Stable Diffusion 这样的免费扩散模型作为基础，通过图形用户界面（GUI）让用户能够以一种更加直观和灵活的方式操作和管理图像生成的过程。

工作原理

ComfyUI 基于节点架构运作，界面元素被表示为相互连接的节点。每个节点都封装了特定的功能或行为，通过调整模块连接可以达到不同的出图效果。用户可以通过连接不同的节点来构建自己独特的图像生成工作流，就像为 AI 生成的图像构建一个视觉图谱。

应用场景

l**图像生成：**根据文本提示生成各种风格和类型的图像，满足用户在艺术创作、设计、广告等方面的需求。

l**图像编辑：**对已有的图像进行编辑和修改，如局部修复、风格转换、图像增强等。

l**模型训练与优化：**通过调整节点和参数，对 Stable Diffusion 等模型进行训练和优化，以提高生成图像的质量和效果。

​

下载 ComfyUI

项目地址：https://github.com/comfyanonymous/ComfyUI

下载地址：https://github.com/comfyanonymous/ComfyUI/releases

Github 的下载地址有时候不太好用。作为替代，B站UP主 “秋葉aaaki” 提供了一键整合包，里面打包好了 ComfyUI 运行环境，嵌入式 python，各种依赖文件等。

“秋葉aaaki” 个人主页空间 https://space.bilibili.com/12566101，可通过他发布的 ComfyUI 视频评论区的网盘链接去下载整合包。整合包当中只有软件本体，模型文件需要单独下载。

原视频链接 https://www.bilibili.com/video/BV1Ew411776J/

Huggingface 上可以找到大模型下载链接：

\1. Black Forest Labs (黑森林实验室，Flux.1 模型创造者)

下载地址：https://huggingface.co/black-forest-labs

\2. Comfy 社区仓库地址

下载地址：https://huggingface.co/Comfy-Org

同时，笔者也将需要用到的工具和绘画模型发布到网盘分享，可自行下载。

链接：

https://pan.quark.cn/s/b312bed5aebe

提取码：R2vy

运行 ComfyUI

下载 ComfyUI 后，无需安装，解压到目标文件夹即可直接运行。

笔者这里解压到 E:\ai\comfyui 目录下，找到 “绘世启动器”，双击运行。

点击右下角 “一键启动”

等待启动完成即可

ComfyUI 完成启动后，会打开工作台界面，显示上一次运行的界面状态。

​

二. 创建绘图工作流

工作流概念

无论是 AI 助手、AI 问答机器人或者 AI 绘画等，本质上仍然遵循计算机基本工作原理：输入-处理-输出。因此，概述 AI 绘画工作流，就是将用户输入的要求，结合控制条件与绘画模型进行特定处理，输出并解码成图片。

​

完整工作流

该工作流可以分为三个主要部分。

输入：

处理：

输出：

细化到每个部分内部，也有输入-处理-输出的过程，例如以下部分：

“文本输入/翻译” ， “CLIP 文本编码器”，与“Flux 引导”，就是一组典型的 “输入 - 处理 - 输出” 关系。对于“CLIP 文本编码器”而言，“文本输入/翻译”，就是输入节点，接收来自它的输入内容，“CLIP 文本编码器” 对其进行编码，输出给下一个步骤的“Flux引导”。

在更复杂的工作流中，会有更多这类组合。每个节点的基本功能相结合形成一个节点组，实现某个复杂功能，再通过多个节点组之间进行组合，实现某个复杂任务的完整工作流。这一点也非常类似软件开发中，“功能单元 - 模块 - 软件” 这样的递进关系。

每个节点左上角有节点功能和名称的描述，在本文中不详细展开讨论每个节点的具体作用，仅概要介绍下该工作流的流程。

流程概述：

1. 用户输入提示词文本；
2. CLIP 编码器对用户输入的提示词进行编码，并传递给下一阶段使用；
3. 结合模型加载器，Lora 加载器，CLIP 编码，采样类型，调度器和其他输入条件，在采样器中进行处理
4. 通过 vae 解码潜空间里的数据，解码到像素空间，形成图片。

ComfyUI 工具有个非常实用的功能，保存工作流生成的图片，再到 ComfyUI 里打开这张图片可以完整还原出工作流。本文中的工作流也上传到网盘内。

三. 导出与集成工作流

导出工作流 API

点击界面左上角“工作流”，选择“导出(API)”

导出API和非API版本有差异，因为接下来需要和 Open-WebUI 集成，选择导出 API。

用编辑器打开导出的JSON格式文件，查看工作流API的详细信息，会发现每个节点的配置信息，包括节点ID，输入参数，选择的模型等，都可以在 JSON 文件中找到。

​

与 Open-WebUI 集成

打开 Open-WebUI 界面 - 管理员面板

找到“设置”- 图像，点击图像生成引擎，默认是(OpenAI)，找到并选择 ComfyUI。此处还有一个工具，叫 Automatic1111，就是大名鼎鼎的 SD-WebUI，也可以和 Open-WebUI 集成实现文生图功能。

输入 ComfyUI 控制台地址，点击上传导出的工作流 API.json 文件。

导入后会发现中间 ComfyUI Workflow 窗口下的代码发生了变化，现在已经变成你导入的工作流代码。

开启“图像生成（实验性）”的按钮。

将CLIP提示词节点ID，或者文本输入节点的ID填入下方 ComfyUI Workflow 节点的 Prompt Node Ids 处。

ComfyUI Workflow 节点中的 “Prompt Node Ids”必须填写，其他都可不填。

将页面下拉到最下方，分别选择默认模型，图片分辨率和处理步数。Flux.1-dev 模型为20步，Flux.1-schell 模型为 4~8 步。图片分辨率不应过大，否则会爆显存，导致工作流执行失败。绘制4K或更大分辨率图片时，通常先绘制小图，再通过放大模型进行放大。

​

验证

回到用户聊天对话框，验证绘图功能。

集成前，在聊天框下方的工具按钮栏里没有图片的符号。集成后，可以看见多一个图片符号的按钮。

点击按钮后，图片按钮会变成 。。。，表明正在调用 ComfyUI API 进行绘图处理。

在之前无法生成图片的对话框下，点击图片按钮进行图片生成。现在能看见根据之前的提示词生成的图片。图片内容符合提示词描述。

重新打开一个新的对话框，点击“图像生成”按钮，在输入框左上角会显示 “生成图像”

接下来，在对话框中输入提示词：桌上有三盆花：第一盆是红色玫瑰，标有“Rose”标签；第二盆是白色雏菊，标有“Daisy”标签；第三盆是黄色向日葵，标有“Sunflower”标签。

点击执行按钮。

生成图像需要的运算多于一般的文字处理，需要等待一点时间。此时在 ComfyUI 控制台标签上会显示（1），表明有工作流正在运行。

第一次生成

AI 文生图本身算是一种抽卡，如果觉得图片不满意，可以点击重新生成，多尝试几次。

第二次生成

这样，就可以在 Open-WebUI 里使用生成图片功能，根据用户提示词进行绘制。

​ 如果这篇文章对您有所帮助或启发，还请您帮忙转发，感谢您的支持！

​为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南
• 环境配置
• 脚本更新
• 后记
• …

二、ComfyUI基础入门

• 软件安装篇
• 插件安装篇
• …

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
• Stable diffusion 工作原理
• 工作流底层逻辑
• 必备插件补全
• …

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解
• 提词技巧精通
• 多模型节点串联
• …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
• 姿势
• …

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型
• SDXL风格化提示词
• SDXL工作流搭建
• …

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取