在这里选择一个stable-diffusion-webui-colab

​​​​​​​​​GitHub - camenduru/stable-diffusion-webui-colab: stable diffusion webui colab

这里我选择是:

https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/lite/stable_diffusion_webui_colab.ipynb

在脚本的顶部添加:

!pip install httpx==0.24.1

全部执行 :

执行完成会有公共访问连接

在这里配置sadtalker:https://github.com/OpenTalker/SadTalker.git

应用并且退出

 将SadTalker的模型和checkpoints复制到指定路径下:

!cp /content/drive/MyDrive/data/sadtalker/checkpoints/* /content/stable-diffusion-webui/models/Stable-diffusion/

!cp /content/drive/MyDrive/data/sadtalker/checkpoints2/* /content/stable-diffusion-webui/extensions/SadTalker/checkpoints

我的模型相关数据在谷歌硬盘的checkpoints下,checkpoints在checkpoints2

相关下载:

准备好后需可以重新执行:

!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --multiple

当然,我认为也可以不重新执行,毕竟python是脚本语言,这些都是触发加载的

选择图片和音频,最终执行结果:

不过通过执行发现,这些并不怎么好,我用的是T4的gpu,需要10分钟左右,时长15s左右。 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐