Qwen2vl-Flux 是一种先进的多模态图像生成模型，它利用 Qwen2VL 的视觉语言理解能力增强了 FLUX。该模型擅长根据文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制。让 FLUX 的多模态图像理解和提示词理解变得很强。

Qwen2vl-Flux有以下特点：

• 无文本图像直接基于图像生成图像；

• 类似 IPA 将图片和文字结合生成对应风格的图片；

• GridDot控制面板，细致的风格提取；

• ControlNet 集成，支持 Depth 和 canny

相关链接

• 代码：https://github.com/erwold/qwen2vl-flux

• 模型：https://huggingface.co/Djrango/Qwen2vl-Flux

模型架构

该模型将 Qwen2VL 的视觉语言功能集成到 FLUX 框架中，从而实现更精确、更具情境感知的图像生成。关键组件包括：

• 视觉语言理解模块（Qwen2VL）

• 增强型 FLUX 主干

• 多模式生成管道

• 结构控制集成

###特征

• 增强视觉语言理解：利用 Qwen2VL 实现卓越的多模式理解

• 多种生成模式：支持变异、img2img、修复和控制网引导生成

• 结构控制：集成深度估计和线路检测，实现精确的结构引导

• 灵活的注意力机制：通过空间注意力控制支持焦点生成

• 高分辨率输出：支持高达 1536x1024 的各种宽高比

生成示例

图像变化

在保持原始图像本质的同时，创造出多样化的变化：

图像混合

通过智能风格转换无缝融合多幅图像：

文本引导的图像混合

通过文本提示控制图像生成：

基于网格的风格迁移

应用网格注意力的细粒度样式控制：