1. 體渲染公式推導

如下圖所示，渲染圖像上點 $P$ 的顏色值 $c$ 是累加射線 $\overrightarrow{OP}$ 在近平面和遠平面范圍內采樣的一系列點的顏色值得到的。

具體的計算公式如下：
$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))c(\mathbf{r}(t),\mathbf{d})dt$$其中：

• $T(t)=\exp (?{\int }_{t_n}^t\sigma (\mathbf{r}(s))ds)$，$T(t)$ 為累積透射率，表示光線從起點傳播到位置 $t$ 時未被阻擋的概率
• $\sigma (\mathbf{x})$ 表示體密度，反映光線在空間位置 $\mathbf{x}$ 處被微小粒子阻擋的概率密度
• $\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}$，$\mathbf{o}$ 為相機位置，$\mathbf{d}$ 為射線 $\overrightarrow{OP}$ 的方向向量，即用 $\mathbf{r}(t)$ 表示射線 $\overrightarrow{OP}$
• $t_n$ 和 $t_f$ 分別表示近平面和遠平面
• $C(\mathbf{r})$ 表示射線 $\overrightarrow{OP}$ 在渲染圖像上點 $P$ 的顏色值

現在來推導一下上述的體渲染公式，分為兩部分：$T(t)$ 和 $C(\mathbf{r})$。

1.1. $T(t)$ 的推導

假設事件 $A$ 表示光線在區間 $[0,t+dt]$ 沒有被阻擋，事件 $B$ 表示光線在區間 $[0,t]$ 沒有被阻擋，事件 $C$ 表示光線在區間 $(t,t+dt]$ 沒有被阻擋，則有 $P(A)=P(B)P(C)$，其中 $P(A)=T(t+dt)$，$P(B)=T(t)$，$P(C)=1?\sigma (t)dt$。
值得注意的是，由于 $\sigma (t)$ 表示光線在空間位置 $t$ 處被微小粒子阻擋的概率密度，由于 $dt$ 非常小，因此可以將 $\sigma (t)dt$ 近似為光線在空間位置 $t+dt$ 處被微小粒子阻擋的概率，則光線在空間位置 $t+dt$ 沒有被阻擋的概率為 $1?\sigma (t)dt$。
即有：
$$T(t+dt)=T(t)(1?\sigma (t)dt)$$進一步轉換可得：
$$\frac{T(t+dt)?T(t)}{dt}=?T(t)\sigma (t)$$當 $dt\to 0$ 的時候，有 $T^{\prime }(t)=\frac{T(t+dt)?T(t)}{dt}=\frac{dT}{dt}$，因此可得微分方程：
$$\frac{dT}{T(t)}=?\sigma (t)dt$$現在我們要計算在區間 $[t_n,t]$ 中光線未被阻擋的概率 $T(t_n\to t)$，有
$$\begin{array}{rl}{\int }_{t_n}^t\frac{dT}{T(t)}& =?{\int }_{t_n}^t\sigma (s)ds\\ \ln T(t){|}_{t_n}^t& =?{\int }_{t_n}^t\sigma (s)ds\\ T(t_n\to t)=T(t)?T(t_n)& =\exp (?{\int }_{t_n}^t\sigma (s)ds)\end{array}$$ $T(t)$ 隨路徑長度增加而指數衰減，表示光線越深入場景，越可能被遮擋（透射率降低）。如果路徑上有不透明物體，后續區域的顏色貢獻會被完全遮擋（即 $T(t)\to 0$）。這與物理現象一致：光線被前景物體遮擋后，無法看到背景物體。

1.2. $C(r)$ 的推導

在 NeRF 的體積渲染模型中，顏色貢獻僅來自光子與介質粒子的碰撞（相互作用），即 $\sigma (\mathbf{r}(t))\ne 0$。光線從近平面 $t_n$ 到遠平面 $t_f$ 累積的總顏色為 $C(\mathbf{r})$。在光線路徑上，區間 $[t,t+dt]$ 內的顏色貢獻 $dC$ 由以下三部分組成：

• 光線達到 $t$ 的概率：$T(t)$
• 在 $[t,t+dt]$ 內光線被阻擋（即光子與介質粒子的碰撞）的概率：$\sigma (\mathbf{r}(t))dt$
• 相互作用的顏色貢獻：$c(\mathbf{r}(t),\mathbf{d})$

則有：
$$dC=T(t)?\sigma (\mathbf{r}(t))dt?c(\mathbf{r}(t),\mathbf{d})$$對 $dC$ 從 $t_n$ 到 $t_f$ 進行積分可得：
$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))c(\mathbf{r}(t),\mathbf{d})dt$$如果光線在路徑 $t_n\to t_f$ 上未發生任何碰撞（所有 $\sigma (\mathbf{r}(t))=0$），則 $T(t_f)=1$，且 $C(\mathbf{r})=0$。但在實際應用中，NeRF 通常引入背景顏色（例如環境光或者天空）作為默認值，則 $C(\mathbf{r})$ 的表達式改為：
$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)?\sigma (\mathbf{r}(t))?c(\mathbf{r}(t),\mathbf{d})dt+T(t_f)?{\mathbf{c}}_{\mathbf{background}}$$這種情況下，即使沒有碰撞點，背景顏色仍會作為最終像素值的一部分。

2. 體渲染公式離散化

由于計算機只能處理離散值，因此需要將前面推導的體渲染公式進行離散化。
首先，我們將區間 $[t_n,t_f]$ 劃分成 $N$ 個等距的小區間，從每一個小區間中隨機取樣一個點作為采樣點，如下所示：
$$t_i～U\left[t_n+\frac{i?1}{N}(t_f?t_n),t_n+\frac{i}{N}(t_f?t_n)\right]$$假設采樣的 $N$ 個點分別為 $t_1,t_2,...,t_N$，現在計算兩個采樣點 $t_i$ 和 $t_{i+1}$ 之間的顏色累積值 $C_i$，則有
$$\begin{array}{rl}{C}_i& ={\int }_{t_i}^{t_{i+1}}T(t_i\to t)?\sigma (t)?c(\mathbf{r}(t),\mathbf{d})dt\\ & =\sigma (t_i)?c(t_i){\int }_{t_i}^{t_{i+1}}T(t_i\to t)dt\\ & =\sigma (t_i)?c(t_i){\int }_{t_i}^{t_{i+1}}\exp (?{\int }_{t_i}^t\sigma (s)ds)dt\\ & =\sigma (t_i)?c(t_i){\int }_{t_i}^{t_{i+1}}\exp (?\sigma (t_i)(t?t_i))dt\\ & =\sigma (t_i)?c(t_i){\frac{\exp (?\sigma (t_i)(t?t_i))}{?\sigma (t_i)}|}_{t_i}^{t_{i+1}}\\ & =c(t_i)?(1?\exp (?\sigma (t_i)(t_{i+1}?t_i)))\end{array}$$值得注意的是，由于 $d=t_{i+1}?t_i$ 的數值很小，因此這里`假設區間 $[t_i,t_{i+1}]$ 的體密度為常量 $\sigma (t_i)$，顏色值也為常量 $c(t_i)$。
$$\begin{array}{rl}C(\mathbf{r})& =\sum _{i=1}^N{\int }_{t_i}^{t_{i+1}}T(t)?\sigma (t)?c(\mathbf{r}(t),\mathbf{d})dt\\ & =\sum _{i=1}^N{\int }_{t_i}^{t_{i+1}}T(0\to t_i)?T(t_i\to t)?\sigma (t)?c(\mathbf{r}(t),\mathbf{d})dt\\ & =\sum _{i=1}^{N}T(0\to t_i){\int }_{t_i}^{t_{i+1}}T(t_i\to t)?\sigma (t)?c(\mathbf{r}(t),\mathbf{d})dt\\ & =\sum _{i=1}^{N}T(0\to t_i)?c(t_i)?(1?\exp (?\sigma (t_i)(t_{i+1}?t_i)))\end{array}$$不妨設 $T_i=T(0\to t_i)$，$c_i=c(t_i)$，${\delta }_i=t_{i+1}?t_i$，${\sigma }_i=\sigma (t_i)$，則上述公式可以簡化為：
$$C(\mathbf{r})=\sum _{i=1}^N{T}_i?(1?\exp (?{\sigma }_i{\delta }_i))?c_i$$ 對 $T(t)$ 也進行離散化，根據上述公式，我們需要知道 $T(t_i)$ 的離散化公式，如下：
$$T_i=T(t_i)=T(0\to t_i)=\exp \left(?{\int }_0^{t_i}\sigma (t)dt\right)=\exp \left(\sum _{j=1}^{i?1}?{\sigma }_j{\delta }_j\right)$$注意這里的 $j$ 只取值到 $i?1$。
我們可以對體渲染公式做進一步簡化，令 ${\alpha }_i=1?\exp (?{\sigma }_i{\delta }_i)$，則有：
$$T_i=\exp \left(\sum _{j=1}^{i?1}?{\sigma }_j{\delta }_j\right)=\prod _{j=1}^{i?1}\exp (?{\sigma }_j{\delta }_j)=\prod _{j=1}^{i?1}(1?{\alpha }_j)=(1?{\alpha }_1)(1?{\alpha }_2)???(1?{\alpha }_{i?1})$$$$C(\mathbf{r})=\sum _{i=1}^N(1?{\alpha }_1)(1?{\alpha }_2)???(1?{\alpha }_{i?1}){\alpha }_i?c_i=\sum _{i=1}^N{c}_i{\alpha }_i\prod _{j=1}^{i?1}(1?{\alpha }_j)$$令 $w_i={\alpha }_i{\prod }_{j=1}^{i?1}(1?{\alpha }_j)$，則 $w_i$ 可以看做是采樣點 $i$ 對最終顏色的貢獻權重。
3DGS 中論文給出的渲染公式如下：
$$C=\sum _{i\in N}{c}_i{\alpha }_i\prod _{j=1}^{i?1}(1?{\alpha }_j)$$可以看出兩者具有一樣的數學表達式。

3. 代碼解讀

raw2outputs 函數實現了體渲染的計算。
1）計算采樣點之間的間距 ${\delta }_i=t_{i+1}?t_i$

dists = z_vals[..., 1:] - z_vals[..., :-1]
dists = torch.cat([dists, torch.Tensor([1e10]).expand(dists[..., :1].shape)], -1)  # [N_rays, N_samples]
dists = dists * torch.norm(rays_d[..., None, :], dim=-1)

2）將模型預測的原始顏色值(raw[…, :3])通過 $sigmoid$ 映射到 $[0,1]$ 范圍

rgb = torch.sigmoid(raw[..., :3])  # [N_rays, N_samples, 3]

3）在訓練時向體積密度 $\sigma$ 加噪聲，防止過擬合

noise = 0.
if raw_noise_std > 0.:noise = torch.randn(raw[..., 3].shape) * raw_noise_std

4）計算 ${\alpha }_i=1?\exp (?{\sigma }_i{\delta }_i)$

raw2alpha = lambda raw, dists, act_fn=F.relu: 1. - torch.exp(-act_fn(raw) * dists)
alpha = raw2alpha(raw[..., 3] + noise, dists)  # [N_rays, N_samples]

5）計算每一條射線上的所有采樣點的權重 $weights[i]$，并且 $weights[i]={\alpha }_i{\prod }_{j=1}^{i?1}(1?{\alpha }_j)$

weights = alpha * torch.cumprod(torch.cat([torch.ones((alpha.shape[0], 1)), 1. - alpha + 1e-10], -1), -1)[:, :-1]
rgb_map = torch.sum(weights[..., None] * rgb, -2)  # [N_rays, 3]

現在簡單模擬一下這個過程的計算：

alpha = [[0.1, 0.2], [0.3, 0.4]
]1 - alpha = [[0.9, 0.8], [0.7, 0.6]
]torch.cat([torch.ones((alpha.shape[0], 1)), 1. - alpha + 1e-10], -1) 的輸出為： 
[[1, 0.9, 0.8], [1, 0.7, 0.6]
]
torch.cumprod(torch.cat([torch.ones((alpha.shape[0], 1)), 1. - alpha + 1e-10], -1), -1) 的輸出為：
[[1, 1*0.9, 1*0.9*0.8],[1, 1*0.7, 1*0.7*0.6]
]torch.cumprod(torch.cat([torch.ones((alpha.shape[0], 1)), 1. - alpha + 1e-10], -1), -1)[:, :-1] 的輸出為：
[[1, 0.9],[1, 0.7]
]alpha * torch.cumprod(torch.cat([torch.ones((alpha.shape[0], 1)), 1. - alpha + 1e-10], -1), -1)[:, :-1] 的輸出為：
[[0.1*1, 0.2*0.9] → [0.1, 0.18],[0.3*1, 0.4*0.7] → [0.3, 0.28]]

6）計算深度圖

depth_map = torch.sum(weights * z_vals, -1)
disp_map = 1. / torch.max(1e-10 * torch.ones_like(depth_map), depth_map / torch.sum(weights, -1))

在 NeRF 中通過加權平均所有采樣點的深度，得到每條射線的有效深度。有效深度可以看作是光線穿過場景時，最可能與物體表面相交的深度。有效深度的計算公式如下：
$$\bar{z}=\sum _{i=1}^N{w}_i?z_i$$假設一條光線穿過一個簡單的場景（如一個立方體）：
采樣點分布如下：

• 采樣點 1：位于立方體的前方，${\sigma }_1$ 很小，$w_1$ 接近于 0
• 采樣點 2：位于立方體的內部，${\sigma }_2$ 很大，$w_2$ 顯著增大
• 采樣點 3：位于立方體的后方，${\sigma }_3$ 很小，$w_3$ 接近于 0

則該光線的有效深度為 $\bar{z}\approx w_1{t}_1+w_2{t}_2+w_3{t}_3\approx w_2{t}_2$，即有效深度集中在立方體內部的采樣點，符合直覺。

7）計算視差圖
在 NeRF 中通過深度倒數計算視差，并添加極小值 1e-10 防止除零，計算公式如下：
$$\text{disp}=\frac{1}{\max (?,{\bar{z}}_{norm})}$$其中，${\bar{z}}_{norm}=\frac{\bar{z}}{{\sum }_{i=1}^N{w}_i}$。
雙目相機中視差 $d$ 和 深度 $D$ 的關系如下：
$$d=\frac{Bf}{Z}$$其中：

• $B$：雙目相機的基線長度（兩相機中心的水平距離）
• $f$：相機焦距
• $Z$：場景點的深度
• $d$：視差（同一場景點在左右圖像中的像素偏差）

$d=\frac{Bf}{Z}$ 計算的是絕對深度（實際物理距離），$B$ 和 $f$ 兩個參數都需要人為標定。
而 NeRF 中計算視差的公式為 $d=\frac{1}{Z}$，這計算的是相對深度。相對深度描述的是場景中物體之間的相對遠近關系，但不提供物體到相機或傳感器的實際物理距離。
相對深度圖缺乏真實尺度，但可以通過已知的基準點（如標定板）計算比例因子 $\alpha$，將相對深度映射到絕對深度，數學公式如下：
$$絕對深度=\alpha \times 相對深度$$