主頁:http://qingkeai.online/
原文:用圖片生成高保真3D模型!Hi3DGen以法線為橋,為高清三維幾何生成另辟蹊徑
隨著從二維圖像構建高保真三維模型的需求日益增長,現有方法由于域間隙的限制以及 RGB 圖像固有的模糊性,在實際應用中常受限于光照變化與紋理混淆,難以兼顧細節和真實感。
為了解決這些問題,來自CUHK深圳、字節跳動和清華大學的研究者提出了 Hi3DGen,這是一個通過法線橋接從圖像生成高保真三維幾何體的全新框架。
論文:Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging
鏈接:https://arxiv.org/pdf/2503.22236
代碼:https://github.com/Stable-X/Hi3DGen
Hi3DGen 由三個關鍵組件組成:
(1) 圖像到法線估計器,通過噪聲注入和雙流訓練將低高頻圖像模式解耦,以實現可泛化、穩定且精準的估計;
(2) 法線到幾何學習方法,利用法線正則化的潛在擴散學習來增強三維幾何體生成的保真度;
(3) 三維數據合成流程,構建高質量數據集以支持訓練。
大量實驗證明了該框架在生成豐富幾何細節方面的有效性和優越性,在保真度方面超越了最先進的方法。
7月22日晚8點,青稞Talk 第65期,香港中文大學(深圳)GAP實驗室博士生葉崇杰,將直播分享《Hi3DGen:法線為橋,為高清三維幾何生成另辟蹊徑》。
分享嘉賓
葉崇杰, 香港中文大學(深圳)GAP實驗室在讀博士, 師從韓曉光教授。
主題提綱
Hi3DGen:法線為橋,為高清三維幾何生成另辟蹊徑
1、三維幾何生成的研究現狀
2、從StableNormal到NormalAnything,我們做錯了什么?
3、三維幾何數據之困,何解?
4、Hi3DGen的方法論和結果展示
5、Hi3DGen賦能下游任務,刷新One-shot 6D位姿估計SOTA
直播時間
7月22日20:00 - 21:00
往期推薦
探究 VLMs 構建穩健空間心理模型的能力,以及未來可能的新路徑
ChatRex & RexSeek & RexThinker: 結合多模態大語言模型的目標檢測模型構建
一起來聊聊:強化學習是否真的能提升大模型的推理能力?
劉子緯團隊開源GUI-Reflection!讓端到端多模態GUI智能體進行“自我反思”與“糾錯”
都看到這了,點個關注再走吧🧐~