前言

NeRF是NeRF系列的開山之作，將三維場景隱式的表達為神經網絡的權重用于新視角合成。
MipNeRF和Instant NGP分別代表了NeRF的兩個研究方向，前者是抗鋸齒，代表著渲染質量提升方向；后者是采用多分辨率哈希表用于加速NeRF的訓練與推理速度。

NeRF

Title：NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis
Code：nerf-pytorch
From：ECCV 2020 Oral - Best Paper Honorable Mention

神經輻射場

輻射場可以理解光線場，給定多張帶有相機內外參的二維圖片，從攝像機出發，引出到每一個像素的光線，通過對這條光線經歷過的空間點的顏色$c$和體密度體密度$\sigma$進行累積，以得到二維圖片上像素點的顏色，從而實現端到端訓練。在這個過程中，沒有顯式的三維結構，如點云、體素或者Mesh，而是通過神經網絡的權重$F_{\theta }$將三維場景連續的存儲起來，通過空間位置（三維點$[x,y,z]$）和視角方向（球坐標系下的極角和方位角$[\theta ,?]$）作為查詢條件，查詢出給定攝像機下的光線所經過的空間點顏色$c$和體密度$\sigma$，通過**體渲染（Volume Rendering）**得到該條光線對應像素點的顏色。

體渲染

沿著視角方向的光線上的點P可以用上圖來表示，盡管論文中提到視角方向是使用$\theta ,?$來表示的，但代碼中還是使用單位向量$d$來表示的。

連續體渲染

體渲染實際上就是將視線r上所有的點通過某種方式累計投射到圖像上形成像素顏色$C(r)$的過程：
$$\begin{gathered} C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t),\mathbf{d})dt \\ \text{where?}T(t)=\exp \left(?{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds\right)\text{\hspace{1em}(1)} \end{gathered}$$

其中，$\mathbf{c}(\mathbf{r}(t),\mathbf{d})$為三維點$r(t)$從$d$這個方向看到的顏色值; $\sigma (\mathbf{r}(t))$為體密度函數，反映的是該三維點的物理材質吸收光線的能力；$T(t)$反映的是射線上從$t_n$到$t$的累積透射率。tn和tf首先確定了nerf的邊界，而不至于學習到無窮遠；其次避免了光心到近景范圍內無效采樣。
直觀上理解σ，可以解釋為每個三維點吸收光線的能力，光經過該點，一部分被吸收，一部分透射，光的強度（可以理解為$T(t)$） 在逐漸減小，當光強為0時，后面的三維點即便可以吸收顏色，也不會對像素顏色有貢獻。指數函數保證了隨著σ的累積，光的強度從1逐漸減為0。

體渲染離散化

其實就是函數離散化的形式，將tn到tf拆分成N個均勻的分布空間，從每個區間中隨機選取一個樣本ti:

$$t_i～\mathcal{U}\left[t_n+\frac{i?1}{N}\left(t_f?t_n\right),t_n+\frac{i}{N}\left(t_f?t_n\right)\right]i\text{?從1到N}$$

然后將連續體渲染公式離散化：

$$\begin{gathered} \hat{C}(\mathbf{r})=\sum _{i=1}^N{T}_i\left(1?\exp \left(?{\sigma }_i{\delta }_i\right)\right){\mathbf{c}}_i \\ \text{where?}{T}_i=\exp \left(?\sum _{j=1}^{i?1}{\sigma }_j{\delta }_j\right)\text{\hspace{1em}(2)} \end{gathered}$$
where $T_i=\exp \left(?{\sum }_{j=1}^{i?1}{\sigma }_j{\delta }_j\right)$
其中， ${\delta }_i=t_{i+1}?t_i$ 表示相鄰采樣點之間的距離

但均勻采樣有明顯的問題， 比如體密度較大的點如果在兩個采樣點之間，那么永遠不可能采樣到。從上圖中可看出，左半張代表均勻采樣，右半張代表真實分布，左邊由于表面兩側被采樣到，只能反應這個區間內可能存在表面，但估計的σ不一定準確。
作者提出了分層采樣來試圖解決這個問題。

方法

位置編碼

網絡結構由如上圖所示全連接網絡組成，輸入x，d分別分三維點的空間位置和視線方向。該三維點的體密度只與空間位置相關，顏色還和視角相關。

$$\gamma (p)=\left(\sin \left(2^0\pi p\right),\cos \left(2^0\pi p\right),?,\sin \left(2^{L?1}\pi p\right),\cos \left(2^{L?1}\pi p\right)\right)$$

還可以注意到γ(x)和γ(d)分別是對位置坐標和方向坐標的位置編碼（標準正余弦位置編碼），這是由于單純坐標只能體現低頻信息，位置編碼可以有效的區分開兩個距離很近的坐標（即低頻接近但高頻編碼分開【但或許也有問題，離得特別近的兩個點或許低頻信息也不相似，私以為mipnerf考慮三維點鄰域的區間，在一定程度上可以緩解】），從而幫助網絡學習到高頻幾何和紋理細節。如下圖所示，視角信息有效反應高光信息，位置編碼有助于恢復高頻細節。

分層采樣

除了上述提到的均勻采樣可能導致i真實表面難以正好采樣到，還有均勻采樣帶來了很多無意義空間的無效采樣，簡單來說，只有空氣的地方沒必要進行采樣，或者被遮擋區域（可見性問題，不可見區域也沒必要采樣，需要提前判斷累積透射率是否為降為0）。

首先均勻采樣可以得到crose color，wi可以理解為同條射線被采樣的$N_c$個三維點顏色的權重：
$${\hat{C}}_c(\mathbf{r})=\sum _{i=1}^{N_c}{w}_i{c}_i,w_i=T_i\left(1?\exp \left(?{\sigma }_i{\delta }_i\right)\right)$$

根據均勻采樣點的權重值歸一化后按重要性重新采樣得到新的$n_f$個位置

$${\hat{w}}_i=w_i/\sum _{j=1}^{N_c}{w}_j$$

最后損失函數可以表示為：

$$\mathcal{L}=\sum _{\mathbf{r}\in \mathcal{R}}\left[{\Vert {\hat{C}}_c(\mathbf{r})?C(\mathbf{r})\Vert }_2^2+{\Vert {\hat{C}}_f(\mathbf{r})?C(\mathbf{r})\Vert }_2^2\right]$$

這里為什么選用兩個網絡來分別做粗糙采樣和精細采樣，參考大佬【
】。crose網絡是用于均勻采樣的，包含更多的是低頻信息的查詢，而fine網絡用于重要性采樣，適用于三維點高頻細節的查詢，兩個網絡起到了類似濾波器的作用。

「待做實驗驗證！！！Todo」

體渲染推導公式（1）到公式（2）

首先，光線通過區間 $[0,t+dt)$ 的概率：
光線通過區間 $[0,t+dt)$ 的概率：
$$\begin{array}{rl}\mathcal{T}(t+dt)& =\mathcal{T}(t)?(1?dt?\sigma (t))\end{array}$$
可以得到
$$\begin{array}{rl}\frac{\mathcal{T}(t+dt)?\mathcal{T}(t)}{dt}& \equiv {\mathcal{T}}^{\prime }(t)=?\mathcal{T}(t)?\sigma (t)\end{array}$$
$1?\mathcal{T}(t)$ 為光線在區間 $[0,t)$ 被終止的累積分布函數(CDF)；
$\mathcal{T}(t)\sigma (t)$ 為其對應的概率密度函數 (PDF)

其中，$\mathcal{T}(t)$ 為光線通過區間 $[0,t)$ 透射率，也就是沒被終止的概率，從1->0； $\sigma (t)$ 為體密度函數；$dt?\sigma (t)$ 為光線在 $[t,t+dt)$ 區間被吸收的概率，也就是被終止概率。
$$\begin{array}{rl}{\mathcal{T}}^{\prime }(t)& =?\mathcal{T}(t)?\sigma (t)\\ \frac{{\mathcal{T}}^{\prime }(t)}{\mathcal{T}(t)}& =?\sigma (t)\\ {\int }_a^b\frac{{\mathcal{T}}^{\prime }(t)}{\mathcal{T}(t)}dt& =?{\int }_a^b\sigma (t)dt\\ {\log \mathcal{T}(t)|}_a^b& =?{\int }_a^b\sigma (t)dt\\ \mathcal{T}(a\to b)\equiv \frac{\mathcal{T}(b)}{\mathcal{T}(a)}& =\exp \left(?{\int }_a^b\sigma (t)dt\right)\end{array}$$
$\mathcal{T}(a\to b)$ 表示光線通過 $a$ 到 $b$ 區間沒被終止的概率，假設$[a,b)$ 共享$a$點體密度和顏色

$$C={\int }_0^D\mathcal{T}(t)?\sigma (t)?\mathbf{c}(t)dt+\mathcal{T}(D)?{\mathbf{c}}_{\mathrm{bg}}$$
$c_{bg}$ 表示背景色彩

$$\begin{array}{rl}\mathbf{C}(a\to b)& ={\int }_a^b\mathcal{T}(a\to t)?\sigma (t)?\mathbf{c}(t)dt\\ & ={\sigma }_a?{\mathbf{c}}_a{\int }_a^b\mathcal{T}(a\to t)dt\\ & ={\sigma }_a?{\mathbf{c}}_a{\int }_a^b\exp \left(?{\int }_a^t\sigma (u)du\right)dt\\ & ={\sigma }_a?{\mathbf{c}}_a{\int }_a^b\exp \left(?{{\sigma }_{a}u|}_a^t\right)dt\\ & ={\sigma }_a?{\mathbf{c}}_a{\int }_a^b\exp \left(?{\sigma }_a(t?a)\right)dt\\ & ={{\sigma }_a?{\mathbf{c}}_a?\frac{\exp \left(?{\sigma }_a(t?a)\right)}{?{\sigma }_a}|}_a^b\\ & ={\mathbf{c}}_a?\left(1?\exp \left(?{\sigma }_a(b?a)\right)\right)\end{array}$$

$$\begin{array}{rl}\mathcal{T}(a\to c)=& =\exp \left(?\left[{\int }_a^b\sigma (t)dt+{\int }_b^c\sigma (t)dt\right]\right)\\ & =\exp \left(?{\int }_a^b\sigma (t)dt\right)\exp \left(?{\int }_b^c\sigma (t)dt\right)\\ & =\mathcal{T}(a\to b)?\mathcal{T}(b\to c)\end{array}$$

$${\mathcal{T}}_n=\mathcal{T}\left(t_n\right)=\mathcal{T}\left(0\to t_n\right)=\exp \left(?{\int }_0^{t_n}\sigma (t)dt\right)=\exp \left(\sum _{k=1}^{n?1}?{\sigma }_k{\delta }_k\right)$$

$$\begin{array}{rl}\mathbf{C}\left(t_{N+1}\right)& =\sum _{n=1}^N{\int }_{t_n}^{t_{n+1}}\mathcal{T}(t)?{\sigma }_n?{\mathbf{c}}_{n}dt\\ & =\sum _{n=1}^N{\int }_{t_n}^{t_{n+1}}\mathcal{T}\left(0\to t_n\right)?\mathcal{T}\left(t_n\to t\right)?{\sigma }_n?{\mathbf{c}}_{n}dt\\ & =\sum _{n=1}^N\mathcal{T}\left(0\to t_n\right){\int }_{t_n}^{t_{n+1}}\mathcal{T}\left(t_n\to t\right)?{\sigma }_n?{\mathbf{c}}_{n}dt\\ & =\sum _{n=1}^N\mathcal{T}\left(0\to t_n\right)?\left(1?\exp \left(?{\sigma }_n\left(t_{n+1}?t_n\right)\right)\right)?{\mathbf{c}}_n\end{array}$$

$\mathcal{T}\left(0\to t_n\right)?\left(1?\exp \left(?{\sigma }_n\left(t_{n+1}?t_n\right)\right)\right)$表示光線正好在 $t_{N+1}$位置的顏色的權重（**透射率*該點的顏色吸收率=該點顏色的貢獻率，對應代碼中的weights，代碼中的$\alpha$指代$1?exp(?\sigma ?\delta )??$）

$$\begin{gathered} \mathbf{C}\left(t_{N+1}\right)=\sum _{n=1}^N{\mathcal{T}}_n?\left(1?\exp \left(?{\sigma }_n{\delta }_n\right)\right)?{\mathbf{c}}_n, \\ \text{where}{\mathcal{T}}_n=\exp \left(\sum _{k=1}^{n?1}?{\sigma }_k{\delta }_k\right) \end{gathered}$$

部分代碼解讀

相機變換（重要！）

• 關于nerf相機方向的解讀

• 關于llff格式數據使用的NDC空間解讀
  簡單來說就是針對不同種類的數據在不同的空間進行計算，如360度合成數據lego（直接從相機坐標系變換到世界坐標系下）或者無界數據llff（NDC空間能將近遠景范圍限制在0-1之間）

Mip-Nerf

To do

Instant-NGP

To do