暢游Diffusion數字人(0):專欄文章導航
前言:之前有很多動作模仿或者表情模仿的工作,但是如果要在實際使用中進行電影級的復刻工作,僅僅表情或動作模仿還不夠,需要表情和動作一起模仿。最近字節跳動提出了一個表情+動作模仿視頻生成DreamActor-M1。
目錄
貢獻概述
核心動機
方法詳解
隱式面部表示
3D 頭部球體:
3D身體骨架控制:
訓練階段
數據和訓練
貢獻概述
作者自己總結的幾點貢獻:
? 我們提出了一個基于整體 DiT 的框架和用于支持靈活多尺度合成的人體圖像動畫的漸進式訓練策略。
? 我們設計了混合控