前言
前方高能預警，Sora來襲！
淺析Sora的技術亮點
語言模型中構建關鍵詞聯系
視頻素材分解為時空碎片
擴散模型DiT
Not for play, But change world!
OpenAI的宏大目標
未來已來，只是尚未流行
Sora的成本與OpenAI的7萬億美金豪賭
算力，未來在何方？
最后
參考文獻
前言
在人工智能的歷史長河中，每一次技術的飛躍都伴隨著社會生產力的巨大變革。自2015年以來，深度學習技術的突破性進展，尤其是在自然語言處理、圖像識別和機器學習等領域的成功應用，已經徹底改變了我們對機器智能的認識和期待。這些技術的進步不僅僅是理論上的突破，更是實際應用的革命，它們正在逐步滲透到我們生活的方方面面，從自動駕駛到智能家居，從數據分析到內容創作。在這樣的背景下，OPENAI最近發布的Sora模型無疑是又一次令人矚目的里程碑。Sora模型基于擴散模型，能夠將簡單的文本描述轉換成為高質量的視頻內容。這種能力不僅僅是技術上的創新，更是對視頻制作、媒體傳播乃至整個娛樂產業的挑戰和機遇。
前方高能預警，Sora來襲！
首先，讓我們先來感受一下Sora的魔力。
一位戴著尖頂帽，身披繡有白色星星的藍色長袍的巫師正在施法，他的一只手射出閃電，另一只手中拿著一本舊書。
在一間擁有電影級燈光設置的充滿托斯卡納鄉村風情的廚房里，一位擅長利用社交媒體的奶奶，正在教你制作美味的自制諾奇面。
我們將帶你進行一次未來城市的街頭巡覽，在這里，高科技與自然和諧共處，展現出一種獨特的賽博朋克風格。
這座城市潔凈無瑕，到處可見的是先進的未來式有軌電車、絢麗的噴泉、巨型的全息投影以及四處巡邏的機器人。
想象一下，一個來自未來的人類導游正帶領一群好奇的外星訪客，向他們展示人類極致創造力的結晶——這座無與倫比、充滿魅力的未來城市。
此外，Sora還能在同一視頻中設計出多個鏡頭，同時保持角色和視覺風格的一致性。
需要知道的是，以前的AI視頻，都單鏡頭生成的。?
Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.
這是一部電影預告片，講述了30歲的太空人戴著紅色羊毛針織摩托車頭盔的冒險經歷，藍天，鹽沙漠，電影風格，用35毫米膠片拍攝，色彩鮮艷。
Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.
「雪后的東京熙熙攘攘。鏡頭穿過繁忙的街道，跟隨著幾位享受著美麗雪景和在附近攤位購物的人們。美麗的櫻花瓣伴隨著雪花在風中飄舞。」
Sora根據這個提示所呈現的，便是東京在冬日里夢幻的一幕。
無人機的鏡頭跟隨一對悠閑散步的情侶穿梭在街道上，左側是車輛在河岸路上行駛的聲音，右側是顧客在一排小店之間穿梭的景象。
Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and?curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.
動畫場景特寫了一個毛茸茸的矮個子怪物跪在融化的紅燭旁。美術風格是3D和現實的，重點是照明和紋理。這幅畫的氣氛是一種驚奇和好奇，因為怪物睜大眼睛，張開嘴巴凝視著火焰。它的姿勢和表情傳達了一種天真和頑皮的感覺，好像它是第一次探索周圍的世界。暖色和戲劇性燈光的使用進一步增強了圖像的舒適氛圍。
Prompt: A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures.
一個華麗的珊瑚礁紙工藝品世界，到處都是五顏六色的魚和海洋生物。
Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.
一列火車穿越東京郊區時，窗戶上反射出的迷人景象。
Prompt: Several giant wooly mammoths approach treading through a?snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.
在雪地草原上，幾只巨大的羊毛猛犸象緩緩前行，它們長長的毛皮在微風中輕輕飄揚。遠處是雪覆蓋的樹木和雄偉的雪山，午后的陽光穿透薄云，給這個場景增添了一抹溫暖的光彩。低角度的拍攝令這些龐大的毛茸茸動物顯得尤為壯觀，景深效果引人入勝。
Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.
無人機從空中俯瞰大蘇爾加雷角海灘附近的崎嶇懸崖，海浪沖擊著巖石，形成白色的浪尖，落日的金色光輝照亮了巖石海岸。遠處有一個小島上立著燈塔，懸崖邊緣覆蓋著綠色植被。從道路到海灘的陡峭下降和懸崖邊緣凸出的景象，展現了海岸的原始美麗和太平洋海岸公路的崎嶇風景。
Prompt: Aerial view of Santorini during the blue hour, showcasing the stunning architecture of white Cycladic buildings with blue domes. The caldera views are breathtaking, and the lighting creates a beautiful, serene atmosphere.
藍色時刻下的圣托里尼島航拍視圖，展現了白色基克拉迪建筑和藍色圓頂的絕美建筑。火山口的景色令人嘆為觀止，燈光營造出一種美麗而寧靜的氛圍。
Prompt: A young man at his 20s is sitting on a piece of cloud in the sky, reading a book.
一位20多歲的年輕人坐在天空中的一朵云上，沉浸在書本中。
Prompt: A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in.
一群活潑的金毛尋回犬小狗在銀白色的雪地上嬉戲，它們好奇的小腦袋時而從雪地中探出，被雪花點綴，萌態十足。
Prompt: The camera directly faces colorful buildings in burano italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the canal streets in front of the buildings.
在意大利布拉諾一排排鮮艷的彩色建筑中，一只可愛的斑點狗正通過窗戶好奇地望向外面。與此同時，街道上人來人往，有的步行，有的騎行。
Prompt: Tiltshift of a construction site filled with workers, equipment, and heavy machinery.
一幅充滿工人、設備和重型機械的建筑工地的移軸攝影。
Prompt: A petri dish with a bamboo forest growing within it that has tiny red pandas running around
在一個培養皿中，生長著一片竹林，其中小熊貓們在歡快地奔跑。
Prompt: A cartoon kangaroo disco dances.
一只卡通袋鼠正在迪斯科舞池中跳舞。
Prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
在一杯咖啡中，兩艘海盜船展開了激烈的戰斗，超寫實的近景視頻。
當然也有一些詭異的輸出。
好在，它還并不完美。
否則，虛擬和現實的界限，還能區分得清嗎？
淺析Sora的技術亮點
在Open AI給出的技術報告【1】中，筆者挖出了兩點Sora的技術要點，分享如下：
1-視覺數據基建----時空碎片（Spacetime Patches）
以chatGPT為例，大語言模型首先通過Embedding將人類語言“編碼”，然后通過注意力機制Attention提取各種豐富的知識和結構，以加權的形式學習并建立“關鍵詞”之間的聯系，最后再“反編碼”，以人類的語言輸出返回結果。
語言模型中構建關鍵詞聯系
與LLM-NLP思路一致，Sora的第一步是針對視覺數據的建模：首先將視頻壓縮到一個低維的潛在空間，然后將其分解為時空碎片，這些“碎片”的集合作為Sora吃進的“語料”。這里的“碎片”-Patches，等同于語言模型中的Tokens，它幫助Sora獲得了自然語言處理特性。
視頻素材分解為時空碎片
進一步，Sora團隊構建了“智能字幕“模型DALL.E3，其建立起了Patches到Tokens之間的聯系，實現了文本與視頻的互譯。使得GPT豐富的文本數據被有效的應用于Sora的訓練，這極大地促進了Sora的誕生。
其次，由于Patches高度可擴展的表示特性，使得Sora能夠應用于廣泛的圖像和視頻編輯任務（圖像就是厚度為1的視頻，分辨率、形狀等屬性變換都可以體現為Patches的排列組合）。
2-反向學習----擴散模型（Diffusion Transformers--DiT）【2】
擴散模型是一種深度生成模型，其基本思想就是通過一個可逆的過程，將結構化數據（如圖片）逐步轉化為無結構的噪聲數據，然后再逆向這個過程，從噪聲中恢復出原始數據或生成新的數據實例。簡而言之，就是讓模型從圖像的模糊還原中學習圖像生成。
而DiT相對于傳統的擴散模型做出了如下改進：
? 使用Transformer替換U-Net，使得模型能夠更好的處理長距離依賴性；
? 驗證了Transformer架構在擴散模型上的可擴展性，隨著模型計算復雜度的上升，生成質量穩步提升。
? 使用Latent diffusion取代pixel diffusion，降低了模型計算量。
擴散模型DiT
在Sora的技術報告中，OpenAI 稱Sora摒棄了“其他文生視頻模型調整視頻大小、裁剪或修剪到標準大小的通常做法”，以可變時長、分辨率與長寬比來訓練視頻生成，從而獲得了重要優勢。
從報告中展示的成果來看，Sora在視頻生成上展現出了強大的涌現能力：人和景物在三維空間移動的一致性；長程時間相關性與對象持久性，如事物被遮擋后重現；事物與周邊世界的互動性等等。
Not for play, But change world!
OpenAI在Sora的技術報告中毫不吝惜夸贊的言詞，并對Sora的潛力充滿期待。他們認為持續擴大視頻模型的規模，將可以用來模擬整個物理和數字世界。這一愿景深深地震撼了筆者本人！
OpenAI的宏大目標
伴隨著筆者對知乎、csdn、facebook的瘋狂查閱，有另一種聲音愈發強烈。原本筆者只是驚訝于Sora視頻的絲滑，清晰與文本生成的簡易。而更多的大佬，紛紛指出，Sora視頻毫無違和感，沒錯！就是毫無違和感，它所展現的光影效果與碰撞遮擋，太真實了！Sora對于圖像與視頻的處理僅僅是其能力的表象，真相是，Sora是真的在理解地球物理世界的規律，而且取得了巨大的進展。
未來已來，只是尚未流行
“Sora 是一個數據驅動的物理引擎！“NVIDIA研究科學家Jim Fan在Twitter上發文。
“Sora不講武德，一句話就有連續的視頻，毀滅吧，計算機圖形學！毀滅吧，游戲引擎！“計算機圖形學學者譚劍如是說。
“去他喵的物理公式，宇宙的終極是概率！“
……
紅衣教主周鴻祎曾表示：一旦人工智能接上攝像頭，對世界的理解將遠遠超過文字學習，一幅圖勝過千言萬語，而視頻傳遞的信息量又遠遠超過一幅圖，這就離AGI（通用人工智能）真的不遠了，不是10年、20年的問題，可能一兩年很快就可以實現。
而當下，Sora突破了，它實現了機器對這個世界的感知、觀察和交互的能力，也就是說真正的給人工智能補上了眼睛。不難想象，在AI如此盡力的發展下，元宇宙般的夢幻世界仿佛近在咫尺。
AI在瘋狂汲取人類文明與客觀世界的知識
Sora的成本與OpenAI的7萬億美金豪賭
“很少有人提到 Sora 視頻生成的成本。用 Sora 生成 1 分鐘的視頻估計需要幾十美金，比RunwayML的Gen2（大約一分鐘10美金）還貴，而很多人會選擇性的忽略成本。比如 GPT-4 支持128K上下文的時候，很少有人提到用一次128K上下文需要1.28美金。今天 Gemini 1.5說支持10M上下文了，卻并沒有人知道這10M上下文的成本是多少。視頻生成如果成本高達一分鐘幾十美金，那就只能受限于專業的影片和游戲制作人，沒法用來生成抖音短視頻。這就是為什么OpenAI要搞7萬億美金來造芯片。很多人覺得Sam Altman瘋了，但我覺得他看到了AI真正的瓶頸——算力。“ ----知乎作者-李博杰
這樣的判斷很快迎來了資本市場的認證。繼2月15日Sora爆炸問世后一周，全世界的投資人，都把目光投向了全球芯片巨頭——英偉達。截至當地時間2月22日收盤，英偉達報785.38美元，漲16.4%，創歷史新高，市值逼近2萬億美元，成為微軟、蘋果之后第三高。其市值一夜增長2733億美元（約合人民幣2萬億元）。相當于增加了一整個Netflix或一整個Adobe，約等于一個茅臺三個寧德時代！皮衣刀客黃仁勛身家超越中國首富、農夫山泉創始人鐘睒睒，升至全球富豪榜第 21 位。
不得不說“淘金的還沒起飛，但賣鏟子的倒是真的起飛了，哈哈哈哈！”
黃仁勛眺望未來
算力，未來在何方？
正所謂：哪里有需求，哪里就有市場！Sora的火爆與NVIDIA的成功又再一次印證了人工智能的影響力及其發展的緊迫性，這促使著“國產算力替代”又再一次回到了發展舞臺的中心。過去的時間里，在中美博弈，芯片法案的壓力下，催生出了一系列AI芯片獨角獸，大家也都在各自的技術路線上奮起直追。這包括全志科技多目異構視覺芯片“V853”，云天勵飛多芯粒集成CV加速單元“DeepEdge10”，清華大學的智能駕駛計算芯片“驚蟄R1”，時識科技“感算一體”動態視覺SoC“Speck”，以及知存科技的“存算一體”AI視覺芯片“WTM8系列”。與此同時，芯片架構設計、芯片驗證以及編譯工具鏈開發等AI芯片崗也引發了新一輪的人才需求熱潮。
值得一提的是，在新一輪算力攻堅賽中，突破傳統馮·諾依曼架構的范式探索成為主要方向之一。而“存算一體”架構打破了存算分離的壁壘，減少了數據的搬運，它就如同“在家辦公”的新型工作模式，消除了數據“往返通勤“的能量消耗、時間延遲，并且節約了“辦公場所”的運營成本，因而具備高能效比。加上“存算一體”架構對于工藝制程的“弱依賴”性（14nm展現4nm數字電路表現性能），使其成為了AI算力的重要發展方向。
Intel Lab 的大規模存算核拓撲規則【3】
從存算一體技術發展來看：
規模正在幾何擴增。上圖是2024年英特爾實驗室新鮮出爐的存算一體架構大規模擴展拓撲圖，可以清晰的看到64核拓撲，筆者印象2023年底的時候，4核才剛進入使用。
精度正在更進一步。從4比特到8比特到10比特。最新消息，AI芯片公司TetraMem及其合作伙伴，繼2023年3月突破11比特后，于今年2月23日又在《科學》上發表重大突破：以憶阻器為核心的全新架構，突破實現任意高精度模擬計算【4】。
按照存算架構相對于傳統數字電路10倍的能效表現，只能說其作為超大模型的支持潛力在逐漸被挖掘，屬于它的時代即將到來。
最后
可以預見的是，AI的成長會以不可思議的速度多向發展，AI的成長基石：數據、算力、能源將會成為社會發展的重要引擎。筆者在此熱烈邀請大家共同關注，共同學習，共同迎接美好的明天！
參考文獻
【1】Technical report of Sora: Video generation models as world simulators (openai.com)
【2】Scalable Diffusion Models with Transformers：https://doi.org/10.48550/arXiv.2212.09748
【3】Towards Joint Modeling of Dialogue Response and Speech Synthesis based on Large Language Model：https://doi.org/10.48550/arXiv.2309.11000
【4】Programming memristor arrays with arbitrarily high precision for analog computing：https://www.science.org/doi/10.1126/science.adi9405
【5】另外，找到了一篇Sora的技術詳解，有興趣的朋友請見：最強文生視頻模型 SORA 技術路線解讀 (yuque.com)??
https://bbs.csdn.net/topics/618126472
【6】存內計算社區·文生視頻Sora模型發布，是否引爆AI芯片熱潮 ：https://bbs.csdn.net/topics/618126472
