??每周跟蹤AI熱點新聞動向和震撼發展 想要探索生成式人工智能的前沿進展嗎？訂閱我們的簡報，深入解析最新的技術突破、實際應用案例和未來的趨勢。與全球數同行一同，從行業內部的深度分析和實用指南中受益。不要錯過這個機會，成為AI領域的領跑者。點擊訂閱，與未來同行！ 訂閱：https://rengongzhineng.io/

介紹Genie，一款基于互聯網視頻訓練的基礎世界模型，能夠從合成圖像、照片乃至草圖中生成各式各樣的可玩（可控制動作的）世界。

【時尚重磅來襲】Genie：玩轉虛擬世界的創新大師
近年來，創意AI技術如雨后春筍般涌現，能夠通過語言、圖像甚至視頻生成新奇有趣的內容。如今，我們帶來了一種全新的創意AI范式——Genie。這不僅僅是個AI模型，它是一位虛擬世界的魔法師，可以根據一張圖片創造出互動性十足、玩家可控制的環境。不管是現實世界的照片，還是你隨手畫的草圖，Genie都能讓你的想象瞬間變為虛擬現實。

【天馬行空的創意實驗室】
Genie的獨到之處在于，它完全通過觀看互聯網視頻來學習精細的控制技巧。你可能會問，互聯網視頻有那么多，它是怎么學的呢？神奇的是，Genie不需要任何動作標簽，它能夠識別哪些部分是可以控制的，甚至還能推斷出各種環境中一致的潛在動作。這就意味著，無論是哪種風格的圖片，Genie都能讓它們動起來。

【創造者的新天地】
想象一下，只需一張圖片，你就能創造出一個全新的互動環境。這為創造和體驗虛擬世界開辟了全新的途徑。無論是使用最先進的文本到圖像生成模型創造出的畫面，還是你自己設計的草圖，甚至是真實世界的照片，Genie都能為它們注入生命。

【AI通用代理的跳板】
Genie不僅僅是關于創造虛擬世界的工具，它對培養通用AI代理也有重要意義。以往，游戲環境被視為開發AI代理的有效試驗場，但我們總受限于可用游戲的數量。有了Genie，我們的未來AI代理可以在無盡的新生成世界中接受訓練。我們的論文中展示了一個概念驗證，即Genie學習到的潛在動作能夠轉移到真實的人類設計環境中，這只是揭示未來可能性的冰山一角。

【生成虛擬世界的未來】
雖然我們的展示集中在平臺游戲上，但Genie是一種通用方法，可以應用于多種領域，而且無需任何額外的領域知識。我們還訓練了一個小型的2.5B模型，在沒有動作的視頻上進行學習，顯示出Genie能夠學習到一致的動作空間，這可能有助于訓練體現式的通用代理。

Genie開啟了從圖像或文本生成整個互動世界的新時代，我們相信它也將成為培養未來通用AI代理的催化劑。

論文： https://arxiv.org/abs/2402.15391