ComfyUI中使用DeepSeek的Janus-Pro-7B模型做文生图和提示词反推
大家好,我是每天分享AI绘画的月月!最近 DeepSeek 真是火的不得了,无论是模型的性能,还是模型的价格,都特别招人喜欢,在AI大模型领域连下数城,达到了世界一流水平。其实 DeepSeek 最近还发布了一个多模态视觉模型:Janus-Pro。Janus-Pro 是 DeepSeeK 最近发布的一个先进的多模态理解和生成模型,可以用来文生图,也可以用来理解图片。
哈喽这里是海绵
前言
最近 DeepSeek 真是火的不得了,无论是模型的性能,还是模型的价格,都特别招人喜欢,在AI大模型领域连下数城,达到了世界一流水平。其实 DeepSeek 最近还发布了一个多模态视觉模型:Janus-Pro。
Janus-Pro 是 DeepSeeK 最近发布的一个先进的多模态理解和生成模型,可以用来文生图,也可以用来理解图片。Janus-Pro 对图像理解和图像生成分别使用独立的编码方法,直接使用正常的文本到图像数据进行训练,还引入了合成美学数据来改善图像生成的质量,这显著提升了多模态理解和图像生成的能力,特别是描述图片的能力,真的很棒。
因为ComfyUI的更新速度比较快,我最近也在一直安利ComfyUI的使用方法, 所以这篇文章就给大家来介绍下在ComfyUI中使用 Janus-Pro 的方法。
===
效果展示
废话不多说,先看效果:
===
安装部署
所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~
安装 ComfyUI
我的云镜像在这里,开箱即用:https://haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q
安装 Janus-Pro
1、通过 ComfyUI-Manager 直接安装
输入 Janus-Pro 即可找到这个插件。
安装完毕后,记得重启。
2、下载插件、手动安装
插件下载地址:https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro
如果访问Github不方便,可以通过网盘下载:https://pan.quark.cn/s/07fe9378f99c
下载后解压,再放到 ComfyUI/custom_nodes 目录下。
安装完毕后,记得重启。
3、下载模型
Janus Pro 提供了两个模型,分别是1B和7B的参数规模,一般参数量越大效果越好,但是处理速度也会变慢。
模型地址:
https://huggingface.co/deepseek-ai/Janus-Pro-7B
https://huggingface.co/deepseek-ai/Janus-Pro-1B
如果访问huggingface不方便,也可以通过我整理的网盘下载:https://pan.quark.cn/s/07fe9378f99c
模型目录结构:
ComfyUI/models/Janus-Pro/Janus-Pro-1B
ComfyUI/models/Janus-Pro/Janus-Pro-7B
===
使用 Janus-Pro
Janus Pro 的工作流使用比较简单,这里分成两部分进行介绍。工作流下载方式见文末。
文生图
这个工作流比较简单,首先加载模型,然后使用文本提示词生成图片。Janus Pro默认生成的图片大小是384*384,我们可以使用常用的放大模型把生成的图片再次放大。
注意这里cfg_weight代表模型对文本提示词的相关性,默认值是5,取值范围 1-10;其它参数默认即可。
分享两条 Janus Pro 的提示词:
A minimalist photo of an orange tangerine with a green stem and leaves, symbolizing prosperity, sitting on a red silk cloth during Chinese New Year.
Capture a close-up shot of a vibrant sunflower in full bloom, with a honeybee perched on its petals, its delicate wings catching the sunlight.
描述图片
这个工作流也很简单,首先加载模型,然后上传一张待描述的图片,运行工作流就可以生成对应的图片描述了。为了验证生成的图片描述,我在原始工作流的后边又串联了一个Flux的工作流,使用前边生成的图片描述来生成一张新的图片。
===
Janus-Pro的缺点
Janus Pro 生成的图片大小只有384*384,这个分辨率在某些需要高清晰度的任务中会显得不足,特别是对于远距离或小区域内的细节捕捉。同时 Janus-Pro 使用了一个 16 倍下采样的离散编码器,这可能会影响图像的清晰度和细节表现。尤其是在处理一些细节丰富的场景时,如远处的人脸,会出现细节不够丰富的情况,有些用户反馈 Janus Pro 的效果甚至不如 SD1.5。
但我们仍然可以通过选择合适的场景来最大化利用 Janus-Pro 的优势。例如:近景拍摄:选择近距离、特写镜头的场景可以更好地展现模型的优势。比如,您可以尝试生成“一个性感男人的脸部特写”这样的提示,这样可以让模型专注于较小的区域,从而提高细节的表现力。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)