多条件引导图像生成-ControlNet安装使用
分割、pose等条件+文本引导图像生成，ControlNet使用教程
·
论文解读
github: https://github.com/lllyasviel/ControlNet
安装
step1：clone 代码
git clone https://github.com/lllyasviel/ControlNet.git
step2：创建虚拟环境
cd ControlNet
# 创建虚拟环境
conda env create -f environment.yaml
# 激活环境
conda activate control
step3：安装xformers库
不安装报错，提示“No module ‘xformers’. Proceeding without it.”
RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device(‘cpu’) to map your storages to the CPU.
pip install xformers
下载模型
模型链接：https://huggingface.co/lllyasviel/ControlNet/tree/main
git lfs install
git clone https://huggingface.co/lllyasviel/ControlNet
将下载到的文件夹annotator、models放置ControlNet文件夹中
使用
Canny Edge
运行以下代码
python gradio_canny2image.py
登录网址：http://127.0.0.1:7860/ 即可在线体验。
Pose
运行以下代码
python gradio_pose2image.py
Seg
运行以下代码
python gradio_seg2image.py
分割不太准，换成SAM可能会好些。
其他demo感兴趣的可自行尝试。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)