簡介

新加坡國立大學 Show 實驗室和字節聯合做了一項類似的研究。他們提出了一個基于擴散的框架 MagicAnimate，旨在增強時間一致性、忠實地保留參考圖像并提升動畫保真度。并且，MagicAnimate 項目是開源的，目前推理代碼和 gradio 在線 demo 已經發布。

• 論文地址：MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model

• GitHub項目地址：https://github.com/magic-research/magic-animate

• 鏡像下載地址：git clone https://gitclone.com/github.com/magic-research/magic-animate

初步了解

可以通過readme了解項目大概，

需要下載預訓練的基本模型 StableDiffusion V1.5 和 MSE-finetuned VAE
且需要下載下列檢查點，

magic-animate
|----pretrained_models|----MagicAnimate|----appearance_encoder|----diffusion_pytorch_model.safetensors|----config.json|----densepose_controlnet|----diffusion_pytorch_model.safetensors|----config.json|----temporal_attention|----temporal_attention.ckpt|----sd-vae-ft-mse|----...|----stable-diffusion-v1-5|----...
|----...

前提: python>=3.8, CUDA>=11.3, and ffmpeg.
且需要安裝的三方包列表在requirements.txt文件中，創建虛擬環境后即可進行安裝。

參考鏈接

1、https://baijiahao.baidu.com/s?id=1784426435369033621&wfr=spider&for=pc
2、https://zhuanlan.zhihu.com/p/670641392