---

TransparentGS: Fast Inverse Rendering of Transparent Objects with Gaussians

Info

會議 【TOG 2025】

作者 南京大學、南開大學、浙江大學

Project地址 https://letianhuang.github.io/transparentgs/

Abstract

本文聚焦于使用 3D GS 實現反射和折射場景的新視角合成，提出了一種名為 TransparentGS 的方法。它是一個基于3D-GS、用于快速重建透明物體的逆向渲染管線。主要貢獻包含三個方面：

• 設計了一種高效的透明物體表示方法：我們設計了“透明高斯基元”（transparent Gaussian primitives），它通過一種“延遲折射”（deferred refraction）策略，實現了對高光折射的模擬。
• 統一環境光與鄰近內容的編碼：我們利用“高斯光場探針”（Gaussian light field probes, GaussProbe），在一個統一的框架內，同時對環境光和鄰近物體內容進行編碼。
• 提出了一種減少視差誤差的算法：我們提出了一種名為“基于深度的迭代式探針查詢”（depth-based iterative probes query, IterQuery）的算法，以減少我們這種基于探針框架中的視差（parallax）錯誤。

Introduction

從不同視角的多張二維圖像重建三維場景并合成新視角一直是計算機圖形學和視覺中的一項長期任務。隨著深度學習的出現，神經輻射場（NeRF）及其變體在解決這一任務中引領了趨勢，它們通過使用隱式場的體積渲染實現了照片級真實感的視覺質量。最近，隨著對實時渲染需求的不斷增加，三維高斯濺射（3D-GS）提供了一種更高效的顯式表示，能夠通過將輻射場建模為三維高斯原語來實現實時渲染。

然而，直到現在，在任意光照條件下重建透明物體并實現實時新視角合成仍然具有挑戰性。這一挑戰源于透明物體在不同視點下頻繁出現的變化，主要由于光線穿過材料時反射和折射的復雜相互作用。因此，NeRF中的具有方向編碼的多層感知機（MLP）和3D-GS中的球面諧波函數（SH）在準確建模鏡面反射和折射方面都面臨困難。

目前，針對透明物體的最有效重構方法是基于隱式神經表示的 [Bemana et al. 2022; Gao et al. 2023; Li et al. 2020; Sun et al. 2024]。然而，這些方法以訓練過程中的顯著計算開銷而聞名，并且如表1所述，它們也不支持實時渲染。基于3D-GS的方法在3D重構和新視角合成方面提供了高效率 [Wu et al. 2024b]，但現有方法各自存在局限性。特別是這些方法 [Jiang et al. 2024; Ye et al. 2024] 原本是為反射場景設計的，無法輕易應用于透明物體。當透明物體周圍有附近物體時，困難程度進一步加大。由于基于光柵化的公式，3D-GS受到理想針孔相機的限制，缺乏對折射和相互反射等次級光線效應的支持 [Huang et al. 2024; Moenne-Loccoz et al. 2024]。

在本文中，我們提出了TransparentGS，一個新穎的逆向渲染框架，該框架基于3D-GS，能夠高效地管理在各種光照和視角條件下的透明物體，同時支持與鄰近內容的折射和相互反射。在此框架中，透明物體由透明高斯原語建模，這些原語明確編碼了3D高斯中的幾何和材料屬性。這些新原語便于集成到專門的物理基礎延遲渲染流水線中，從而實現網格和高斯的整合，以處理次級光線效果。為了處理場景中的環境光和鄰近內容，我們引入了高斯光場探針（GaussProbe），通過在透明物體周圍放置稀疏的緩存集來捕捉每個透明物體的局部光場。這些探針可以基于最佳投影策略快速烘焙和更新 [Huang et al. 2024]。為了解決探針固有的視差問題并增強折射/相互反射的細節，我們設計了一種基于深度的迭代探針查詢算法（IterQuery），該算法在經過幾次迭代后能實現可信的結果。與之前的工作相比，我們的新框架具有幾個優勢，如表1所列。特別地，我們在一小時內實現了透明物體的快速逆向渲染及次級光線效果，能夠實時合成透明場景的新視圖以及復雜的次級光線效果，如圖1所示。

與之前的工作相比，我們的新框架有幾個優點，如表1所示。特別是，我們在一小時內實現了首個快速反向渲染，能夠處理透明物體的次級光線效應，從而實現透明場景和復雜次級光線效應的實時新視角合成，如圖1所示。總之，本工作的貢獻如下：

• 我們設計了一種高效的透明物體表示，透明高斯原語，使得通過延遲折射策略實現鏡面折射成為可能。
• 我們利用高斯光場探針（GaussProbe）在統一框架內編碼環境光和附近內容。
• 我們提出了一種基于深度的迭代探針查詢算法（IterQuery），以減輕我們基于探針的框架中的視差誤差。

Method

在本節中，我們介紹了我們的方法TransparentGS，旨在快速逆渲染透明物體。如圖2所示，我們的TransparentGS由兩部分組成。第一部分是透明物體的表示，透明高斯原語，包含遵循3D高斯點云（3D-GS）[Kerbl et al. 2023]的形狀屬性。為了增強折射的表示能力，我們通過額外屬性擴展了原語，包括法線和雙向散射分布函數（BSDF）[Bartell et al. 1981]的參數。為了利用原語渲染詳細的高光折射，我們采用了一種延遲折射方法。第二部分是我們提出的高斯光場探針（GaussProbe），它不僅表示類似于環境貼圖的環境光，還表示來自附近內容的間接光。為了消除視差問題，我們開發了一種基于深度的迭代探針查詢（IterQuery）算法，專門用于高斯光場探針。

預備知識

3D GS的概念不再贅述

渲染方程

$$L={\int }_{\Omega }{L}_{in}(\mathbf{x},{\omega }_{in})f(\mathbf{x},\omega ,{\omega }_{in})|{\omega }_{in}?\mathbf{n}|d{\omega }_{in}.\text{\hspace{1em}(3)}$$

雙向散射分布函數，?? 是陰影結果，??in 是入射輻射，n 是表面法線，?? 和 ${??}_{in}$ 分別是出射方向和入射方向。?? 表示表面點 x 的雙向散射分布函數（BSDF），可以進一步細分為雙向反射分布函數（BRDF）和雙向透射分布函數（BTDF）。

透明高斯

在3D-GS中，球面諧波 [Kerbl et al. 2023] 難以準確捕捉鏡面反射和折射中外觀的高頻變化，這導致了過擬合，從而在新視角中造成退化，或者結果高度模糊。為了解決這個問題，我們提出了一種新的表示，透明高斯原語，它涉及基于物理的渲染流水線，而不是直接計算球面諧波。參數化。如圖2所示，我們將表面幾何體參數化為法線n，將表面材料參數化為粗糙度??和金屬度??。對于透明物體，考慮表面的傳輸和折射是至關重要的。因此，我們利用兩個額外的材料參數：透明度??和折射率(IOR) ??。透明度??用于在不透明材料和透明材料之間進行插值。此外，為了保持高運行性能，我們保留了原始3D-GS [Kerbl et al. 2023] 的形狀參數用于??混合和光柵化。

不透明度屬性在三維生成系統（3D-GS）中發揮著關鍵作用，即使對于不透明物體，因為三維生成系統依賴于體積??混合。對于透明物體，僅僅使用較低的不透明度來表示透明性將無法準確表現其表面，這反過來又使得計算折射和反射變得困難。因此，我們引入了一個額外的參數??，以便于在計算機圖形學中的應用，例如材料編輯。

表面反射和折射。在本文中，我們通過兩個分離的BSDF明確表示表面反射和折射：
$$f=(1?t)f_r+t{f}_t$$
其中 $f_r$ 表示雙向反射分布函數（BRDF），$f_t$ 表示雙向透射分布函數（BTDF）。對于不透明材料，當 ?? = 0 時，我們遵循 Cook-Torrance 模型 [1981]。而對于金屬或透明物體的反射成分，當 $??=0$ 時，我們將其視為完美鏡面反射：
$$f_r=F\frac{\delta (\omega ?{\omega }_r)}{|{\omega }_{in}?\mathbf{n}|},\text{with}{\omega }_r=2({\omega }_{in}?\mathbf{n})\mathbf{n}?{\omega }_{in}$$
其中 ${??}_r$ 表示分析反射方向，?? 表示 Dirac Delta函數，而 Fresnel 項 ?? 可以使用 Schlick 近似 [Schlick 1994] 進行近似。同樣，對于透明物體的透射成分，當 ?? = 0 時，我們僅考慮完美的鏡面折射：

$$f_t=(1?F)\frac{\delta (\omega ?{\omega }_t)}{|{\omega }_{in}?\mathbf{n}|}\text{\hspace{1em}(6)}$$

其中 ${??}_t$ 指的是折射方向。如圖 2 所示，解析的折射方向是根據斯涅爾定律獲得的。

延遲折射 使用3D-GS進行反向渲染的一個關鍵方面是著色方案。通常，著色策略可以分為兩種類型：前向著色和延遲著色。“前向”指的是首先進行著色，然后進行??混合，而“延遲”則相反。先前的研究強調了操作順序對鏡面反射的影響。受到一些關于延遲反射的研究啟發 [Wu et al. 2024a; Ye et al. 2024]，我們探討了在處理鏡面折射時采用延遲著色的可能性。具體而言，我們使用公式（3）和公式（6）推導透射顏色：

$$L_t={\int }_{\Omega }{L}_{in}(\mathbf{x},{\omega }_{in})(1–F)\delta (\omega –{\omega }_t)d{\omega }_{in}=(1–F)L_{in}(\mathbf{x},{\omega }_t).\text{\hspace{1em}(7)}$$

由于??混合是一種線性的操作，而方程（7）相對于法線n并不是線性的，因此操作順序對折射有顯著影響。前向折射對高斯的陰影結果進行了平均。與前向折射相比，延遲陰影在捕捉具有鏡面折射的透明物體方面更為擅長，因為它對光照進行了單次采樣，如圖3所示。在我們的延遲折射策略中（見圖2），我們采用了一種基于點的??混合方法，類似于方程（2），以聚合所有由基元攜帶的反射和折射相關屬性。例如，帶有α加權的法線的計算公式為：

$$\mathcal{N}=\sum _{i=1}^N{T}_i{\alpha }_i{\mathbf{n}}_i\text{\hspace{1em}(8)}$$

此外，與基于環境光的反射相比，我們還需要整合光線的入射點以進行折射和反射。然而，僅僅整合原始圖形的中心??會忽略它們的各向異性，從而導致誤差。我們采用了一種更精確的策略來計算入射點。考慮到原點 o c a m o_{cam} o