? ? ? 階躍星辰(StepFun)正式開源其新一代圖生視頻模型 Step-Video-TI2V ,該模型基于300億參數的Step-Video-T2V訓練,支持文本與圖像聯合驅動生成長達102幀的高質量視頻,在運動控制與場景適配性上實現突破。
? ? ? 核心亮點
? ? ? 1、超長視頻生成與運動控制
? ? ? 支持生成 102幀視頻 (約4秒@24fps),覆蓋更長時序內容創作需求。
? ? ? 首創 運動幅度可控 與 鏡頭運動可控 雙機制,用戶可通過參數調節動態效果,平衡畫面流暢性與戲劇張力。
? ? ? 2、多模態輸入與風格適配
? ? ? 同時接受文本和圖像輸入,精準融合語義描述與視覺風格,尤其在 動漫風格視頻生成 中表現優異,適用于動畫制作與創意短片。
? ? ? 基于 深度壓縮變分自編碼器(Video-VAE) ,實現16×16空間壓縮與8×時間壓縮,顯著提升訓練與推理效率。
? ? ? 3、開源生態與硬件兼容
? ? ? 模型已開源(GitHub地址:stepfun-ai/Step-Video-TI2V ),支持開發者快速部署。
? ? ? 適配華為昇騰計算平臺,推動國產化AI硬件生態發展。
? ? ? 技術突破與行業價值
? ? ? 1、參數規模領先 :作為當前開源社區最大的TI2V(Text/Image-to-Video)模型之一,300億參數量支撐復雜場景建模能力。
? ? ? 2、應用前景廣闊 :可服務于影視特效、廣告創意、短視頻內容生產等領域,降低高質量視頻制作門檻。
? ? ? 3、研究意義顯著 :開源后將加速圖生視頻技術迭代,為學術界提供高性價比的多模態研究基座。
? ? ? 與其他領先開源模型的比較
? ? ? 將 Step-Video-TI2V 與最近發布的領先開源模型進行比較,下表中的詳細結果突出了該模型優于這些模型的性能。展示了 Step-Video-TI2V 的兩個結果,運動分別設置為 5 和 10。正如預期的那樣,這種機制有效地平衡了生成視頻的運動動態和穩定性(或一致性)。此外,在 VBench-I2V的 排行榜,Step-Video-TI2V 獲得了最高排名。
? ? ? Step-Video-TI2V 的應用領域與場景
? ? ? 基于其運動可控性 、長視頻生成能力 (102幀/5秒)及 多模態輸入支持 ,Step-Video-TI2V 可廣泛應用于以下領域,結合技術特性與知識庫信息分析如下:
? ? ? 1. 影視與廣告制作
? ? ? 特效預演與生成 :支持生成具有動態效果的視頻片段(如爆炸、光影變化),可作為電影或廣告特效的低成本預演工具。
? ? ? 短視頻廣告創作 :通過文本與圖像聯合驅動,快速生成符合品牌調性的創意短片,提升廣告制作效率。
? ? ? 2. 動漫與短視頻創作
? ? ? 動畫制作 :在動漫風格任務中表現突出,可生成高質量角色動作與場景過渡,縮短傳統動畫制作周期。
? ? ? 豎屏內容生產 :支持多尺寸生成(橫屏/豎屏),適配抖音、Instagram等平臺的短視頻需求。
? ? ? 3. 教育與體育訓練
? ? ? 動作教學視頻 :生成復雜動態場景(如舞蹈、武術動作分解),輔助在線教育或健身課程開發。
? ? ? 科學可視化 :模擬物理實驗或生物過程(如流體運動、分子結構動態展示),提升教學直觀性。
? ? ? 4. 游戲與虛擬內容開發
? ? ? 游戲過場動畫 :通過可控鏡頭運動生成游戲內過場動畫,降低開發成本。
? ? ? 虛擬主播/數字人 :結合圖像輸入生成虛擬角色的動態視頻,用于直播或互動內容。
? ? ? 5. 工業與醫療模擬
? ? ? 工業設計驗證 :生成機械運動或產品使用場景的模擬視頻,輔助設計驗證。
? ? ? 醫療培訓 :模擬手術操作或解剖過程,提供高精度動態教學素材。
? ? ? 6. 社交媒體與UGC內容
? ? ? 個性化內容生成 :用戶上傳圖片并輸入文本描述,快速生成定制化視頻(如旅行Vlog、產品評測)。
? ? ? 特效濾鏡增強 :集成至社交平臺工具鏈,提供動態濾鏡或AR效果生成。
? ? ? 7. 多模態藝術與創意實驗
? ? ? 藝術風格遷移 :將靜態藝術作品(如油畫、插畫)轉化為動態視頻,探索跨媒介藝術表達。
? ? ? AI生成電影短片 :通過長視頻生成能力創作實驗性短片,推動AI在藝術領域的邊界。
? ? ? 8. 科研與國產化生態
? ? ? AI模型研究 :開源特性為學術界提供高參數量多模態研究基座,推動視頻生成技術迭代。
? ? ? 國產硬件適配 :支持華為昇騰平臺,助力國產AI芯片在視頻生成領域的落地應用。
? ? ? Step-Video-TI2V憑借大參數量、運動控制創新與開源策略,為視頻生成領域樹立新標桿,有望推動AIGC從“短片段創作”邁向“長視頻工業化生產”時代。
? ? ? 模型網址:https://github.com/stepfun-ai/Step-Video-TI2V