大家好我是极客菌,前两周Stable Diffusion WebUI1.6.0发布了,新增了很多对SDXL生态的支持。

而ControlNET也对SDXL的支持也逐渐稳定。

SDXL的生态终于有一点起色了,我也觉得是时候,可以来写一篇SDXL的大模型推荐了。

在推荐之前,以免大家混淆,所以这里再做一个简单的小科普:

现在的所有的SD的大模型,都是基于stability.ai发布的开源模型Stable Diffusion进行微调的,而Stable
Diffusion本身有很多个版本。

对,有这么多,但是基本都没人玩,只有SD1.5屹立不倒,你不管在Civitai还是一些其他的模型站上,99%都是把SD1.5当底座进行微调或者融合的。

而SDXL1.0是今年7月新发布的大模型,参数量比SD1.5大将近7倍,语言模型也“抄”了OpenAI的CLIP可以写大长句,他的上限比SD1.5高太多太多了。

现在,就来盘点一些,很棒的基于SDXL1.0微调出来的模型。

1.DreamShaper XL1.0

熟悉 SD WebUI 的小伙伴应该对 DreamShaper 不陌生,它是一款非常全能的写实风大模型,出图质量很高。此次 SDXL 1.0
更新后,DreamShaper 的制作者也进行了同步模型优化,于是就产生了 DreamShaper XL1.0 模型。它在图像生成质量、清晰度上比基于 SD
1.5 训练的 DreamShaper 模型更优秀。

  1. 类型:大模型(安装路径:根目录 models\Stable-diffusion)

  2. 注意事项:显存小于或低于 8G 时,需要开启显存要优化;

图像尺寸不低于 768*768px

参考数值:

  • 正向提示词:photo of the warrior Aragorn from Lord of the Rings, film grain, 8k hd

  • 负向提示词:Negative prompt: (deformed iris, deformed pupils), text, worst quality, low quality, uglySteps: 40, Seed: 17748028598464,

  • 大模型:DreamShaperXL1.0Alpha_half

  • 尺寸:768*1024 px

  • 采样器:DPM++ 2S a Karras

  • CFG scale: 8

2.Anime Art Diffusion XL

Anime Art Diffusion XL 是基于 SDXL 1.0 专门训练的动漫风模型,可以生成精致 2D 及 3D 动漫风图像,也适合作为未来其他
Lora 模型的基础模型。

  1. 类型:大模型(安装路径:根目录 models\Stable-diffusion)

  2. 注意事项:显存小于或低于 8G 时,需要开启显存要优化;

图像尺寸不低于 768*768px;使用 8k 和 high resolution 这样的词汇

细节会更丰富

参考数值:

  • 正向提示词:face focus, masterpiece, best quality, 1girl, , white roses, petals, night background, fireflies, light particle, solo, standing, pixiv, depth of field, cinematic composition, best lighting, looking up

  • 反向提示词:(low quality, worst quality:1.2), 3d, watermark, signature, ugly, poorly drawn

  • 大模型:animeArtDiffusionXL_alpha3

  • 生成步数:35

  • 宽度:768*1024 px

  • 采样器:DPM++ 2S a Karras

  • CFG scale:10

3.Mysterious - SDXL

Mysterious - SDXL 是基于 SDXL 1.0
训练的一款奇幻风格大模型,出图质量高且非常稳定性。东西方奇幻风都可以生成,在赛博朋克、奇幻生物、3D 游戏人物上的效果也不错。

  1. 类型:大模型(安装路径:根目录 models\Stable-diffusion)

  2. 注意事项:显存小于或低于 8G 时,需要开启显存要优化;

图像尺寸不低于 768*768px

参考数值:

  • 正向提示词:(mysterious:1.3), ultra-realistic mix fantasy,(1 giant eastern dragon:1.3) (behind an asian woman holding a glowing sword:1.1),void energy diamond sword, in the style of dark azure and light azure, mixes realistic and fantastical elements, vibrant manga, uhd image, glassy translucence, vibrant illustrations, ultra realistic, long hair, straight hair, white hair,head jewelly, jewelly, shawls,light In eyes, red eyes, portrait, firefly, mysterious, fantasy, cloud, abstract, colorful background, night sky, flame, very detailed, high resolution, sharp, sharp image, 4k, 8k, masterpiece, best quality, magic effect, (high contrast:1.4), dream art, diamond, skin detail, face detail, eyes detail, mysterious colorful background, dark blue themes

  • 反向提示词:(worst quality:1.5), (low quality:1.5), (normal quality:1.5), lowres, bad anatomy, bad hands, multiple eyebrow, (cropped), extra limb, missing limbs, deformed hands, long neck, long body, (bad hands), signature, username, artist name, conjoined fingers, deformed fingers, ugly eyes, imperfect eyes, skewed eyes, unnatural face, unnatural body, error, painting by bad-artistlayman work, worst quality, ugly, (deformed|distorted|disfigured:1.21), poorly drawn, bad anatomy, wrong anatomy, mutation, mutated, (mutated hands AND fingers:1.21), bad hands, bad fingers, loss of a limb, extra limb, missing limb, floating limbs, amputation, Yaeba, photo, deformed, black and white, realism, disfigured, low contrast

  • 大模型:[Lah]-Mysterious-V2.95

  • 生成步数:50

  • 尺寸:768*1080px

  • 采样器:DPM++ 2M SDE Karras

  • CFG scale: 9

4.Papercut SDXL

一款基于 SDXL 1.0 训练的剪纸风 lora 模型,可以通过简单的提示词生成各种内容的多层剪纸插画,内容清晰准确,适合生成海报素材。

  1. 类型:lora 模型(安装路径:根目录 models\Lora )

  2. 注意事项:显存小于或低于 8G 时,需要开启显存要优化

  3. 图像尺寸不低于 768*768px

参考数值:

  • 正向提示词:papercut of a fox in a forest, papercut, fox, forest,

  • 负向提示词:blurry, boken

  • 基础模型:sd_xl_base_1.0

  • lora 模型:papercut

  • 生成步数: 25

  • 尺寸:1024*1024px

  • 采样器: DPM++ SDE

  • CFG scale: 7

5.3D Render Style XL

基于 SDXL 1.0 训练的 3D 渲染风格模型,图像质量很高,类似 Pixar 3D 动画的风格,适合用来生成各种 3D 人物、动物及场景。

  1. 类型:lora 模型(安装路径:根目录 models\Lora )

  2. 注意事项:显存小于或低于 8G 时,需要开启显存要优化

图像尺寸不低于 768*768px;不要开启高清修复

参考数值:

  • 正向提示词:(masterpiece, best_quality, ultra-detailed:1.3), a cute Fox, 3d render ,
    负向提示词:Negative prompt: (worst quality, low quality:1.4), (lip, nose, tooth,
    rouge, lipstick, eyeshadow:1.4), (blush:1.2), (jpeg artifacts:1.4), (depth of
    field, bokeh, blurry, film grain, chromatic aberration, lens flare:1.0),
    (1boy, abs, muscular, rib:1.0), greyscale, monochrome, dusty sunbeams,
    trembling, motion lines, motion blur, emphasis lines, text, title, logo,
    signature,bad_hands, bad-artist-anime

  • 基础模型:sd_xl_base_1.0 / Clip skip: 2

  • lora 模型:3d_render_style_xl(权重 0.7-1)

  • 生成步数:30

  • 采样器:Sampler: DPM++

  • 生成尺寸:768x1024 px

  • CFG scale: 7

6.3D Render Style XL

很少会见到针对UI领域特化的SD大模型,Microsoft Design SDXL是国人针对3D UI图标专门训练的模型,偏微软风格,弥散的色彩。

虽然整体风格泛化能力目前较为单一,但是出图质量较高,且填补了这个领域的空白。依然推荐。

7.LEOSAM’s HelloWorld 新世界 SDXL

“HelloWorld”一个全新的逼真的SDXL基础模型系列,拥有极高的肖像的真实感和电影般的质量。用作者的原话说就是:

“由于SDXL的信息量和文本理解能力远远优于SD1.5,HelloWorld是一个旨在逼真描绘所有事物的基本模型,或者换句话说,我希望使用HelloWorld逐步构建一个虚拟摄影世界”

需要在prompt上写上“leogirl”进行模型触发

8.SDXL_Niji_Special Edition

相比Niji5,有过之而无不及,SD生态里表现最好的卡通大模型,精通所有卡通风格,你的每一个创意,都能在SDXL_Niji_Special
Edition的世界里找到最完美的表达。

如果在调用 lora 的过程中发现拓展框内没有下载好的 lora 模型,可以进入“设置-拓展模型”中,勾选最下方的“在 Lora
页面保持显示所有模型”,保存设置后重启 WebUI,就能看到所需的 SDXL lora 模型了。

以上就是本期为大家推荐 5 款基于 SDXL1.0 训练的大模型,可以让我们生成质量更高的图像。虽然目前 SDXL
系的模型在插件兼容性上差一些,但未来配套的设置肯定会越来越完善,非常值得期待。

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友,可以长按下方二维码,免费领取!

请添加图片描述

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

有需要的朋友,可以长按下方二维码,免费领取!

请添加图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐