線下沉浸式劇場與 LBE VR 相結合,會碰撞出什么樣的火花?本次 PICO 視頻、東方演藝集團與火山引擎一起,將沉浸式演出《只此周莊》的部分場景復刻到了 VR 世界,讓用戶在虛擬的古代周莊夜市里,體驗了古老的故事以及精彩紛呈的歌舞表演。
在傳統的 VR 內容中,通常使用全景相機錄制或 CG 技術制作人物資產。這兩種方法,前者只能滿足 3DoF 場景,后者往往受到成本和制作期的約束,難以呈現高質量人物效果。本次項目采用火山引擎的「空間視頻制作服務」完成 3D 真人數字人的制作,讓數字人保留了真人表演的細膩感,同時滿足 LBE VR 這種 6DoF 自由游覽的體驗形式。
除了驚艷的視覺效果,產品還配套提供了渲染 SDK,降低創作者的集成復雜度,幫助用戶實現拍攝到 3D 模型的快速轉換。
-
支持主流游戲引擎版本:穩定支持主流版本的 UE 和 Unity;
-
多平臺兼容:支持 PICO 4 Ultra MR 渲染、本地串流等多種串流方案,并支持火山云 XR 適配;
-
豐富的參數調節:提供了陰影、光照、色彩等調節控制,讓效果調整更便捷。
真實重建,表演即 3D 資產
「3D 真人數字人」是利用火山引擎的空間視頻產品完成制作的,核心算法采用了 4D GS 技術(一種動態 3D 高斯潑濺技術的升級)。利用多視角相機拍攝,對人物進行動態重建,具備強大的真實重建能力,能夠1: 1精準還原真人的動作及微表情。
在傳統的虛擬體驗中,受到成本制約,人物的動作和表情往往顯得生硬、不夠自然,本方法通過先進的掃描和重建算法,能夠捕捉到真人表演中的每一個細節,從肢體的細微動作變化,到演員的瞬間表情,完整進行復刻,并制作成 3D 資產進行還原。演員嘴角的微微上揚、眼神的閃爍變化,都得以在虛擬世界中完美呈現,讓觀眾在 VR 中自由漫游的同時,又能體驗前所未有的真實感。
自由交互,體驗代替觀看
該技術打破了傳統觀看模式的限制,觀眾可以自由環繞觀察表演者的每個細節。以往,觀眾只能從固定的角度觀看表演,無法對感興趣的部分進行深入探究。而有了空間視頻技術,觀眾就如同置身于現場一樣,可以圍繞表演者進行 360° 的自由移動,無論是表演者背后的動作、側面的姿態,都能一覽無余。這種深度交互的方式,極大地增強了觀眾的參與感和體驗感。
智能融合,帶來視覺盛宴
帶上 VR 頭顯,享受虛擬與現實相結合,亦真亦幻的視覺享受。空間視頻技術實現了數字人與 3D 場景的實時動態交互,數字人物與場景智能融合,結合不同的場景光影,實時渲染陰影和光效,增強整體氛圍感。結合引擎的特效系統,在真實表演基礎上,疊加了絢麗的影視級視覺特效,增強了 VR 畫面的視覺沖擊力和內容感染力。
產能升級,云端重建加速 3D 人物資產制作
傳統的 3D 人物資產制作往往需要耗費大量的時間和精力,而空間視頻技術帶來了一次效率革命。通過影棚拍攝,即可生成高質量的 3D 人物資產,大大節省了制作成本和時間。傳統方法一個月的工作量,可壓縮至一個星期內完成,讓開發者能夠更快速地將創意轉化為實際產品。
本次項目中,為了方便用戶在不同場地體驗,在分發側采用了云 XR 渲染方案。利用火山引擎的云端算力,渲染出高質量的 VR 內容,幫助用戶更便捷地體驗精彩的 VR 內容。火山引擎視頻與邊緣創新產品線負責人侯希明表示,利用「空間視頻制作服務」與云 XR 服務,打造整體解決方案,助力 LBE VR 方向的制作團隊加速 VR 內容制作與分發。讓創作者聚焦創意,簡化復雜的開發過程。
面向未來,通過火山引擎空間視頻產品制作「3D 真人數字人」還將擁有更多應用場景,比如將京劇大師的形象和表演數字化,形成數字分身,在虛擬場館中進行駐場表演,讓更多觀眾欣賞到京劇大師的精彩演出;又比如打造明星導游數字人,為游客提供24小時不間斷的服務等等。
火山引擎「空間視頻制作服務」不僅具備強大的真實重建能力,打造驚艷的視覺效果,還能滿足自由游覽的體驗形式,同時,通過產能升級節省了制作成本和時間,將推動「3D 真人數字人」在非遺、劇場、文旅等場景加速落地。
點擊這里,了解產品更多信息。