截至2023.12.8號,目前市面上有兩款適用于SDXL的文生視頻開源工具,分別是AnimateDiff和hotshot-xl。
一、工具下載鏈接
(1)AnimateDiff的webui版本的git鏈接:
GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI
在文檔中直接指出了這兩個工具。
?(2)hotShot-XL的webui版本的git鏈接:
?GitHub - hotshotco/Hotshot-XL-Automatic1111
?二、工具模型安裝
1、AnimateDiff
分為SD1.5和SDXL兩個模型。
模型下載鏈接為:
https://huggingface.co/guoyww/animatediff/tree/main
?mm_sd_v15_v2.ckpt適用于SD1.5
mm_sdxl_v10_beta.ckpt適用于SDXL
模型下載后放到 stable-diffusion-webui根目錄/extensions/sd-webui-animatediff/model
?2、hotshot-xl
模型下載地址:
https://huggingface.co/hotshotco/Hotshot-XL/tree/main
下載949MB的那個模型,下載后放到:stable-diffusion-webui根目錄/extensions/Hotshot-XL-Automatic1111/model?
?三、工具使用
AnimateDiff的效果比Hotshot-XL的效果要好
1、AnimateDiff
注意:FPS=16
2、Hotshot-xl
注意:FPS=8
參考配置: