IC-Light,可以操控图像生成时的光照,光照难题终于被解决了!
IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照,对内容主体重新打光生成符合新背景环境光照的图片。这下商品图合成这种需要最大程度保持原有主体 ID 需求的最大的问题解决了。
IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照,对内容主体重新打光生成符合新背景环境光照的图片。这下商品图合成这种需要最大程度保持原有主体 ID 需求的最大的问题解决了。
Controlnet, Layerdiffusion, IC-light…
不得不说敏神的技术品味真的好… 全是重要问题
目前,已经发布了两种类型的模型:
-
文本条件重新光照模型。从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。
-
背景条件模型。给定背景图片和前景主体,会自动生成环境光,保证背景和前景的融合。
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【
保证100%免费
】

相关链接
Github链接: https://github.com/lllyasviel/IC-Light
Demo地址: https://huggingface.co/spaces/lllyasviel/IC-Light
生成效果
文本条件模型
Lighting Preference只是初始潜在值。例如,如果照明首选项为“左”,则初始潜在值是左白右黑。
-
提示:美丽的女人,细致的脸,温暖的气氛,在家,卧室
-
照明偏好:左
-
Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom
-
Lighting Preference: Left
-
Prompt: beautiful woman, detailed face, sunshine from window
-
Lighting Preference: Left
-
Prompt: beautiful woman, detailed face, light and shadow
-
Lighting Preference: Left
- Prompt: (beautiful woman, detailed face, soft studio lighting)
背景条件模型
背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】

在 HDR 空间中,照明具有所有光传输都是独立的属性。因此,不同光源的外观混合相当于混合光源的外观:
以上面的灯光舞台为例,“外观混合”和“光源混合”的两幅图像是一致的(理想情况下,HDR空间中的数学等效)。
我们在训练重光照模型时施加了这种一致性(在潜在空间中使用mlp)。因此,该模型能够产生高度一致的光照-如此一致,不同的光照甚至可以合并为法线贴图!尽管这些模型是潜在扩散的。
从左到右分别是输入、模型输出、重光照、分割阴影图像和合并法线贴图。请注意,该模型没有使用任何法线贴图数据进行训练。这种正常估计来自于重光照的一致性。你可以使用这个按钮重现这个实验(它是4倍慢,因为它重照图像4次)
使用模型需注意的地方
-
iclight_sd15_fc.safetensors默认的重光照模型,以文本和前景为条件。你可以使用初始潜波来影响重亮。
-
iclight_sd15_fcon.safetensors与“iclight_sd15_fc”相同。“安全装置”,但经过了噪音补偿训练。注意,默认的“iclight_sd15_fc。在用户研究中,Safetensors的表现略优于该模型。这就是为什么默认模型是没有偏移噪声的模型。
-
iclight_sd15_fbc.safetensors -以文本、前景和背景为条件的重新照明模型。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】


魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)