NeRF:Representing Scene as Neural Radiance Fields for View Synthesis 筆記

摘要

實現了一個任意視角視圖生成算法：輸入稀疏的場景圖像，通過優化連續的Volumetric場景函數實現；用全連接深度網絡表達場景，輸入是一個連續的5維坐標，3D坐標+2D角度（航向、俯仰角），輸出Volume density和依賴于視圖的emitted radiance，查詢5維坐標并用經典的Volume Rendering把輸出的顏色與強度投影到圖像。

介紹

a. march camera rays，我理解為從焦點投射射線到場景，獲取3D坐標點。
b. 用3D點$\mathbf{x}$與對應的2D角度(用單位向量$\mathbf{d}$)輸入，輸出顏色$\mathbf{c}$和強度$\sigma$。
c. 合成圖像。

Neural Radiance Field場景表達

$$F_{\theta }:(\mathbf{x},\mathbf{d})\to (\mathbf{c},\sigma )$$
輸出$\sigma$只與輸入位置坐標$\mathbf{x}$有關，$\mathbf{c}$則與$\mathbf{x}$、$\mathbf{d}$有關。

網絡結構，輸入$\mathbf{x}$的8層全連接層，均為256通道，各層帶ReLU激活，輸出$\sigma$、256維特征，此特征再與$\mathbf{d}$聚合，輸入一層帶ReLU的全連接層，輸出$\mathbf{x}$。

Volume Rendering

位置坐標$\mathbf{x}$表達為相機射線$\mathbf{r}$，$\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}$，t是從焦點$o$出發的長度，積分上下界是遠端、近端。
$$\begin{gathered} C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r},d)dt \\ T(t)=exp(?{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds) \end{gathered}$$

$T(t)$的含義從$t_n$到$t$累積的transmittance，“the accumulated transmittance along the ray”，是射線從$t_n$到$t$未遇到其他粒子的概率。
求該積分的數值方法，Deterministic quadrature，筆者初步理解是一種數值計算方法，離散化近似：將區間分為N段，從每一段隨機取樣。
$$t_i～U[t_n+\frac{i?1}{N}(t_f?t_n),t_n+\frac{i}{N}(t_f?t_n)]$$
參考Volume Rendering綜述，
$$\begin{gathered} \hat{C}(\mathbf{r})=\sum _{i=1}^N{T}_i(1?exp(?{\sigma }_i{\delta }_i)){\mathbf{c}}_i \\ {T}_i=exp(?\sum _{j=1}^{i?1}{\sigma }_j{\delta }_j) \\ {\delta }_j=t_{j+1}?t_j \end{gathered}$$

兩項技術改進

只有上述設計不能達到SOTA，為此添加了兩項重要改進，其中第二項是為了高效地實現第一項。

1. 位置編碼

   直接輸入上述5維做渲染，在場景中顏色和幾何的高頻變化的條件下表現較差，有參考證明深度網絡偏向于學習低頻函數，并發現在輸入網絡前用高頻函數將數據映射到更高維，網絡能更好擬合含有高頻變化的數據。5維輸入的各個元素$p$被映射為長為2L的向量
   $$\gamma (p)=(sin(2^0\pi p),cos(2^0\pi p),...,sin(2^{L?1}\pi p),cos(2^{L?1}\pi p))$$
   其中，位置元素L=10，方向元素L=4；各維元素均歸一化到$[?1,1]$。
   Transformer有相似處理，但它的目的是給序列提供位置標簽，因為Transformer結構不能標記順序；NERF中的位置編碼則是為了將輸入升維以使得它的MLP能擬合更高頻函數；從投影重建蛋白質3D結構的模型方法也使用了該思路。

2. 多層采樣
   采用兩個網絡，一個粗略，一個精細。首先用第一個網絡生成顏色，每條射線輸入$N_c$個位置，然后用其結果引導重新采樣，使得采樣集中到體元附近，提高有效信息位置的樣本權重。