3DGS——基礎知識學習筆記

1.什么是3D高斯潑濺（3D Gaussian Splatting）？

目標：從一組稀疏的3D點（比如通過相機或激光雷達采集的點云）重建出高質量的3D場景，并支持實時渲染。

核心思想：用許多“3D高斯分布”（類似橢球形的光滑斑點）來表示場景中的物體表面。這些“斑點”可以靈活變形、旋轉或縮放，從而更精準地擬合復雜形狀。

類比理解：
想象用一堆“棉花糖”拼成一個3D模型：每個棉花糖可以壓扁、拉長或旋轉（各向異性），最后所有棉花糖組合起來就能逼真地還原一個物體（比如一只貓或一棟建筑）。

2. 貢獻點逐條解析

貢獻1：各向異性(anisotropic)的3D高斯分布

各向異性：指高斯分布的形狀在不同方向上可以不同（比如橢球可以是扁的或長的，而不僅是圓形）。為什么重要？真實世界的物體表面有各種復雜朝向（比如地面是平的，樹干是豎的），各向異性讓高斯分布能更貼合這些形狀。
非結構化輻射場：傳統方法（如NeRF）需要規則網格或隱式函數，而高斯潑濺直接用離散的高斯斑點自由表達，更靈活高效。

貢獻2：GPU快速可微渲染

可微渲染：渲染過程支持自動求導（即可以通過損失函數反向傳播優化高斯參數）。
拋雪球(Splatting)：將3D高斯投影到2D屏幕上時，像“潑雪球”一樣模糊化處理，避免鋸齒或空洞。
GPU加速：利用并行計算實時渲染大量高斯斑點。

“拋雪球”（Splatting）是計算機圖形學中一種將3D數據投影到2D屏幕的渲染技術，常用于點云或體素（體積像素）的實時可視化。它的核心思想是：把每個3D點看作一個“柔軟的雪球”，投影到2D屏幕上時會像雪球砸到地面一樣“攤開”成一個模糊的圓形或橢圓形斑點，從而避免直接渲染離散點導致的空洞或鋸齒問題。

貢獻3：優化與自適應密度控制

優化方法：訓練過程中動態調整高斯斑點的位置、形狀、透明度等參數，使重建更精準。
自適應密度：根據場景復雜度增減高斯斑點（比如細節多的區域自動增加斑點，平坦區域減少）。

3.預備知識

1.一維高斯分布（1D Gaussian Distribution）

概念：一維高斯分布描述的是?單個隨機變量?的概率分布，其圖像是經典的“鐘形曲線”。例如：人的身高、測量誤差等通常服從高斯分布。

𝜇：均值（Mean），決定分布的中心位置。
𝜎：標準差（Standard Deviation），控制分布的“寬窄”（𝜎?越大，曲線越扁平）。
𝜎2：方差（Variance）

        ^|      ......|    .        .|   .          .
f(x)    |  .            .| .              .|.                .+-----------------------> xμ-σ   μ   μ+σ

曲線在?𝑥=𝜇處取得最大值。約 68% 的數據落在?(𝜇?𝜎,𝜇+𝜎)?區間內，95% 落在?(𝜇?2𝜎,𝜇+2𝜎)?內。

2.三維高斯分布（3D Gaussian Distribution）

概念：三維高斯分布描述的是?三個變量（如空間中的x, y, z坐標）?的聯合分布。在3D高斯潑濺中，每個“高斯斑點”就是一個三維高斯分布，可以旋轉、拉伸（各向異性），用來擬合3D物體表面。

𝑥=[𝑥,𝑦,𝑧]𝑇：三維空間中的一個點。
𝜇=[𝜇𝑥,𝜇𝑦,𝜇𝑧]𝑇：均值向量，決定分布的中心位置。
𝛴：3×3協方差矩陣，控制分布的形狀（大小、旋轉、拉伸）。

協方差矩陣?𝛴?的作用

協方差矩陣決定了高斯分布的形狀和方向：

對角元素( $\sigma _{xx},\sigma _{yy},\sigma _{zz}$ )：控制沿x、y、z軸的縮放（方差）。
非對角元素( $\sigma {_{xy}}$ )：控制不同維度之間的相關性（即旋轉或傾斜）。

例子：

如果?𝛴?是對角矩陣（非對角元素為0），則高斯分布是軸對齊的橢球。

Σ = [σ_x2  0    00    σ_y2  00    0    σ_z2]

如果非對角元素非零，則高斯分布是旋轉的橢球（各向異性）。

3.可視化學習

（1）一維高斯分布可視化→ 理解均值和標準差

import numpy as np
import matplotlib.pyplot as plt# 定義高斯函數
def gaussian_1d(x, mu=0, sigma=1):return (1 / (sigma * np.sqrt(2 * np.pi))) * np.exp(-0.5 * ((x - mu) / sigma)**2)# 生成數據
x = np.linspace(-5, 5, 500)  # x范圍
mu = 0    # 均值
sigma = 1 # 標準差# 計算概率密度
pdf = gaussian_1d(x, mu, sigma)# 繪圖
plt.figure(figsize=(8, 4))
plt.plot(x, pdf, 'b-', linewidth=2, label=f'μ={mu}, σ={sigma}')
plt.title('1D Gaussian Distribution')
plt.xlabel('x')
plt.ylabel('Probability Density')
plt.legend()
plt.grid(True)
plt.show()

改變 𝜇 會平移曲線，改變 𝜎會調整曲線的“胖瘦”。

（2）二維高斯分布可視化→ 理解協方差矩陣控制形狀

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D# 定義二維高斯函數
def gaussian_2d(x, y, mu_x=0, mu_y=0, sigma_x=1, sigma_y=1, rho=0):"""rho: 相關系數（控制旋轉）"""z = (1 / (2 * np.pi * sigma_x * sigma_y * np.sqrt(1 - rho**2))) * np.exp(-0.5 / (1 - rho**2) * (((x - mu_x) / sigma_x)**2 +((y - mu_y) / sigma_y)**2 -2 * rho * (x - mu_x) * (y - mu_y) / (sigma_x * sigma_y)))return z# 生成網格
x = np.linspace(-5, 5, 100)
y = np.linspace(-5, 5, 100)
X, Y = np.meshgrid(x, y)# 案例1：各向同性（圓形）
Z_iso = gaussian_2d(X, Y, sigma_x=1, sigma_y=1, rho=0)# 案例2：各向異性（橢圓，旋轉45度）
Z_aniso = gaussian_2d(X, Y, sigma_x=2, sigma_y=0.5, rho=0.5)# 繪制3D圖
fig = plt.figure(figsize=(12, 6))ax1 = fig.add_subplot(121, projection='3d')
ax1.plot_surface(X, Y, Z_iso, cmap='viridis')
ax1.set_title('Isotropic Gaussian (σ_x=σ_y)')ax2 = fig.add_subplot(122, projection='3d')
ax2.plot_surface(X, Y, Z_aniso, cmap='plasma')
ax2.set_title('Anisotropic Gaussian (σ_x≠σ_y, ρ≠0)')plt.tight_layout()
plt.show()

各向同性：等高線是圓形（sigma_x = sigma_y）。
各向異性：等高線是橢圓（通過 sigma_x、sigma_y 和 rho 控制拉伸和旋轉）。

（3）三維高斯分布可視化→ 掌握各向異性橢球的生成

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3Dimport pyvista as pvdef generate_3d_gaussian(mu=[0, 0, 0], cov=[[1, 0, 0], [0, 1, 0], [0, 0, 1]], n_points=1000):"""生成3D高斯分布點云"""points = np.random.multivariate_normal(mu, cov, size=n_points)return points# 案例1：各向同性（球體）
points_iso = generate_3d_gaussian(cov=np.eye(3))# 案例2：各向異性（橢球，拉伸和旋轉）
cov_aniso = [[2, 1, 0], [1, 1, 0], [0, 0, 0.5]]  # 協方差矩陣
points_aniso = generate_3d_gaussian(cov=cov_aniso)# 可視化
plotter = pv.Plotter(shape=(1, 2))plotter.subplot(0, 0)
plotter.add_points(points_iso, color='blue', point_size=5)
plotter.add_title('Isotropic 3D Gaussian')plotter.subplot(0, 1)
plotter.add_points(points_aniso, color='red', point_size=5)
plotter.add_title('Anisotropic 3D Gaussian')plotter.show()

（4）3D潑濺?→ 理解投影和渲染邏輯。

4.3D 幾何與坐標變換

在 3D Gaussian Splatting 中，我們需要將一個在三維空間中表示的高斯分布（點）投影到圖像平面上。這一過程涉及多個坐標系之間的轉換：世界坐標系、相機坐標系、圖像坐標系。為了理解這個過程，首先要掌握基本的三維幾何與坐標變換知識。

三維坐標系的種類

坐標系名稱	說明
世界坐標系（World Coordinate System）	場景中所有物體的統一參考坐標系。
相機坐標系（Camera Coordinate System）	以相機為原點的坐標系，Z軸朝向視線方向。
圖像坐標系（Image Coordinate System）	圖像上的像素位置（通常是 2D 坐標）。

高斯點最初位于世界坐標系，但為了在屏幕上正確繪制它，我們必須將其轉換到圖像坐標系。

坐標變換流程

世界坐標 P_world 
→ 相機坐標 P_camera = [R | t] * P_world（外參矩陣） 
→ NDC（標準設備坐標） → 圖像坐標（像素位置）

解釋：

R 是旋轉矩陣（3×3）
t 是平移向量（3×1）
[R | t] 組成了 外參矩陣，將世界坐標變換到相機坐標
然后乘上 投影矩陣（內參），將相機坐標轉換到圖像平面

齊次坐標與變換矩陣

為統一表達旋轉、平移等操作，我們使用齊次坐標（Homogeneous Coordinates）：

一個三維點 P = [x, y, z] → 齊次形式為 [x, y, z, 1]^T

坐標變換統一用 4×4 矩陣表示：

P_camera = T_view * P_world
T_view = | R  t || 0  1 |

繼續投影到圖像空間：

P_image = K * T_view * P_world

其中：

K 是相機內參矩陣，包含焦距、主點等；
P_image 是圖像平面上的點。

應用于 Gaussian Splatting 的場景

在 Gaussian Splatting 中，每個三維高斯分布點都有其位置（中心點）、方向（協方差矩陣）等參數。這些點需要經過上述變換，從世界空間轉換到相機空間，并最終以一種“模糊點”（splat）的方式渲染到圖像上。因此，理解坐標變換過程是后續理解高斯渲染公式、遮擋處理、深度排序等機制的基礎。

5.相機模型與投影過程

在 Gaussian Splatting 中，我們需要將三維空間中的高斯點“投影”到二維圖像平面上，就像真實相機將三維世界成像到一張照片上一樣。這個過程依賴于相機模型，它描述了從 3D 點到 2D 像素的轉換方式。

什么是相機模型？

相機模型是一種數學模型，模擬真實相機是如何拍攝一張照片的。它包括兩個主要部分：

類型	描述	關鍵內容
外參（Extrinsic Parameters）	描述相機在世界中的位置和朝向	用旋轉矩陣 R 和位移向量 t 表示
內參（Intrinsic Parameters）	描述相機的內部結構與成像方式	焦距、主點、圖像尺寸、像素間距等

相機投影原理

我們可以類比真實世界：
📸 相機就像一個小孔，把三維空間的光線投射到一個二維圖像平面上。

數學表達為：

P_image = K × [R | t] × P_world

其中：

P_world 是世界坐標中的 3D 點
[R | t] 是外參矩陣，將世界坐標轉換為相機坐標
K 是內參矩陣，將相機坐標轉換為圖像平面坐標（像素）

相機坐標 → 圖像坐標的步驟

第一步：世界坐標 → 相機坐標

這個變換告訴我們：相機看到的點在它本地坐標系中長什么樣。

第二步：相機坐標 → 歸一化圖像坐標（投影）

這是“透視投影”的核心思想 —— 離相機越遠的點，看起來越小。

第三步：歸一化 → 像素坐標（通過內參矩陣）

(u, v) 是圖像上的像素位置；
fx, fy 是像素方向上的焦距（單位：像素）；
(cx, cy) 是圖像中心點（principal point）。

實際意義：從 3D 到 2D 的投影

整個流程可以形象理解為：

真實世界中的3D點（例如樹的一片葉子）  
→ 相機觀察它的視角（R, t）  
→ 計算它落在圖像哪個像素位置（通過K）

6.體積渲染與透明度混合

在 Gaussian Splatting 和 NeRF 等技術中，傳統的“繪制網格三角形”的方式被替代為“模擬光穿過一個透明體積的過程”，這就是體積渲染。它的目標是：從一個視角出發，計算每條光線穿過空間時，最終在圖像像素上看到的顏色。

什么是體積渲染？

體積渲染是通過對光線在三維空間中的“穿行過程”建模，計算出最終像素顏色的技術。

我們可以想象，視線（光線）從相機發出，穿過一段“有顏色和透明度”的霧狀體積，最終到達我們的眼睛。在這段路徑上，顏色不斷“疊加”，這就是體積渲染的基本思想。

核心思想：光線積分

體積渲染的本質是：在一條光線上積分所有位置的顏色和不透明度，決定最終的像素顏色。???????

設想我們沿光線采樣許多點，每個點有：

顏色值 c_i（RGB）
密度值 σ_i（表示該點“多不透明”）

每個點的**不透明度（透明度補數）**記作：

其中 δ_i 是采樣點之間的距離。

透明度混合（Alpha Blending）

每個點對最終像素顏色的貢獻由其前面的透明度控制。這個過程叫做 前向透明度混合（front-to-back alpha compositing）。

假設有 N 個采樣點，每個點顏色為 c_i，不透明度為 α_i，權重（可視度）為 T_i，則最終像素顏色為：

其中：

意思是：前面所有點“透明”才能看到當前第 i 個點的顏色。

示例類比：多層玻璃窗

我們看向遠方，面前有好幾塊半透明玻璃，每塊玻璃都上了一點顏色。

第一塊玻璃影響最多；
第二塊玻璃的顏色只有在第一塊足夠透明時才能顯現；
第三塊玻璃受到前兩塊的遮擋；
最終我們看到的顏色，是所有玻璃“混合”的結果。

在 Gaussian Splatting 中的作用

在 Gaussian Splatting 中：

每個高斯就像一個有顏色和透明度的模糊斑點；
從一個視角出發，對所有高斯進行深度排序；
按順序進行透明度混合，疊加顏色；
得到最終像素顏色，就像體積渲染中的“光線積分”。

但與 NeRF 不同，Gaussian Splatting 是一種點級別的近似快速渲染，不是連續空間積分，而是基于稀疏高斯點進行快速 alpha 混合。

7.NeRF 原理簡介：神經體積渲染的基準模型（可與 Gaussian Splatting 對比）

什么是 NeRF？

NeRF（Neural Radiance Fields） 是 2020 年由 Google 提出的新型 3D 表示方法，它使用一個神經網絡來擬合一個場景的體積顏色與密度函數，然后利用體積渲染技術合成新視角圖像。

NeRF 是 Gaussian Splatting 出現之前最廣泛使用的三維重建方案之一。

NeRF 的核心思想

NeRF 的核心是一個函數：

𝑥 ∈ ?3：表示空間中的一個 3D 點
𝑑 ∈ ?3：表示相機視角方向（單位向量）
輸出 c ∈ ?3：該點在該方向下的 RGB 顏色
輸出 σ ∈ ??：體積密度（用來計算透明度）

也就是說，NeRF 使用一個 MLP 神經網絡來表示場景的顏色和體積結構。

渲染方式：體積渲染積分（Volume Rendering）

NeRF 沿著每個像素的視線進行采樣，使用神經網絡預測每個采樣點的顏色和密度，然后通過**體積渲染（參考上一節）**混合得到最終顏色。

NeRF 每條光線都要采樣幾十到上百個點，并且每個點都要前向一次神經網絡 → 渲染非常慢（分鐘級）。

優點與缺點

優點	缺點
表示能力強：細節豐富、精度高	訓練和渲染都非常慢
能表示連續空間（非點云）	不可實時互動
適合離線精渲染任務	不適合實時應用、游戲等

Gaussian Splatting 與 NeRF 的對比

項目	NeRF	Gaussian Splatting
表示形式	MLP（神經網絡）	高斯點分布
渲染方式	連續采樣 + 體積渲染	離散高斯疊加
渲染速度	慢（需推理 MLP）	快（GPU 可并行）
實時性	不支持	支持實時渲染
內存占用	相對較小	高斯點云較大
場景表達能力	精度高，細節豐富	精度略低，但效率高

NeRF 與 Gaussian 的演進路徑

NeRF 系列發展出了很多變種（FastNeRF、InstantNGP、MipNeRF、Zip-NeRF），目的都是為了加速渲染、減少訓練時間。而 Gaussian Splatting 是直接跳出神經網絡，將渲染過程“顯式化”為可快速繪制的高斯點云，成為一種新范式。

NeRF 是“隱式渲染”（用網絡預測顏色+密度），而 Gaussian Splatting 是“顯式渲染”（直接用可見的高斯點+數學公式渲染），這就是“渲染過程顯式化”的意思。

Gaussian Splatting 的“顯式渲染”機制：

Gaussian Splatting 不再使用黑盒函數表示場景，而是直接生成一堆可見的、有意義的點：

每個點（3D Gaussian）具有：

位置（在世界坐標中）
顏色（RGB）
透明度（α）
空間尺度（決定模糊大小）
方向（協方差矩陣）
屏幕上的外形（經過投影變換）

渲染時：

? 不再用神經網絡！直接把這些高斯點投影到屏幕 → 進行 α 混合 → 生成圖像。

這一過程完全顯式、可計算、可并行、可加速，非常適合 GPU 實時處理。

總結

特性	NeRF（隱式）	Gaussian Splatting（顯式）
表達方式	神經網絡 MLP（函數）	高斯點（真實幾何+屬性）
渲染方式	推理+體積渲染	投影+α混合
每次渲染都需要？	網絡推理幾十次	點→像素變換+混合即可
渲染速度	慢（秒級）	快（實時）
可視化	不可直接看場景結構	點云可視化直接看到場景形狀

8.Gaussian Splatting 的核心思想

核心一句話：

Gaussian Splatting 是一種用“3D 高斯點云”來實時渲染場景的技術，核心思想是：把一個 3D 世界顯式表示成許多透明的、有顏色的模糊斑點，然后投影到屏幕上進行混合，生成最終圖像。

1?? 從點云到高斯

我們知道，傳統的三維重建（如激光掃描）會得到“點云”，每個點有位置和顏色。但這些點是“離散的”，看起來會有鋸齒、空洞。

于是，Gaussian Splatting 提出：

🔵 把每個點變成一個 3D 高斯分布，也就是一個模糊的、橢球形的斑點。它有：

位置（在哪兒）

形狀（橢球大小方向）

顏色（RGB）

不透明度（α）

這讓原本“零散的點”變成了“柔和的、連續的體積”，更像真實世界。

2?? 把高斯“潑”到屏幕上

“Splatting” 是圖形學里的術語，意思是“把點在屏幕上鋪開/投影出去”。

Gaussian Splatting 的做法是：

📷 把每個 3D 高斯點 根據相機視角投影到屏幕上，變成一個 2D 的橢圓模糊圖形。

這個過程考慮了：

相機位置（從哪看）
高斯的方向和大小（變換后是屏幕上的橢圓）

3?? 使用透明度混合生成圖像

多個高斯點可能會投影到同一個像素位置。

🧪 所以我們要像 Photoshop 那樣，“一層層疊加”，用 alpha 混合公式，得到最終顏色。

疊加規則是：

離相機近的點要先渲染；
每個點的透明度決定它對最終顏色的貢獻；
像體積渲染那樣累加顏色，越后面的點貢獻越小（被遮擋）。

? 為什么這很聰明？

相比 NeRF，它的優點是：

特點	Gaussian Splatting	NeRF
場景表示	顯式高斯點云	黑盒神經網絡
渲染方式	投影+透明度混合	光線采樣+MLP推理
渲染速度	快，可實時	慢，需要推理
顯存占用	稍大（保存高斯）	相對較小
可解釋性	點是明確可見的	不可視，需要解碼

Gaussian Splatting 是一種將 3D 場景顯式表示為高斯點的技術，使用快速投影和透明度混合代替傳統 NeRF 的光線采樣與 MLP 推理，顯著提升了渲染速度并支持實時交互。

9.GS點的參數

在 3D Gaussian Splatting 中，一個點不是簡單的“位置 + 顏色”，而是帶有空間分布、方向、透明度等信息的可渲染斑點。它的參數大致可以分為三類：

🧩 第一類：幾何信息（Geometry）

1?? 位置 μ ∈ ?3

這是高斯分布的中心點，定義了這個點在 3D 空間中的位置。
就像傳統點云里的一個點的位置。

📌 舉例：一個點在 [1.0, 2.0, 3.0] 的位置，它就“漂浮”在這個空間中。

2?? 協方差矩陣 Σ ∈ ?3?3（或者參數化形式）

控制這個高斯的形狀和朝向，相當于定義了一個橢球體的大小和方向。
可以理解為這個點“在空間中模糊到哪里去”，是細小點還是大斑塊。

📌 比如：

如果協方差小，那就是一個“尖的點”；
如果協方差大，那就是一個“模糊的大點”。

📍 實際論文中會使用參數矩陣 Λ 代替協方差 Σ，便于訓練（可正定性）。

🎨 第二類：外觀信息（Appearance）

3?? 顏色 c ∈ ?3 或 RGB

表示這個點本身的顏色，在渲染時直接作為輸出圖像的一部分。
有些版本還會加上顏色不確定度，但基本就是顏色本身。

📌 例：[0.2, 0.5, 0.8] → 藍綠色點。

4?? 不透明度 α 或體積密度 σ

控制這個點對最終圖像的貢獻有多大，越大越“實”，越小越“透明”。
類似 Photoshop 圖層的不透明度，或者 NeRF 中的體積密度。

📌 透明點對結果貢獻小；不透明點容易遮擋后方點。

🔧 第三類：渲染輔助信息（Rendering Parameters）

5?? 視角依賴性（View-dependent feature）🔁（可選）

一些版本中引入了方向特征（如 SH spherical harmonics 球諧函數）來模擬表面反射光效果。
這是為了解決：一個點在不同視角看起來顏色不一樣的問題（比如鏡面反射）。

📌 這部分在論文中可選開啟，核心思想是使高斯點在不同角度下顯示不同顏色。

6?? 混合優先級 / 深度排序（用于渲染排序）

高斯點需要根據到相機的距離來排序，靠近的先渲染。
雖不是“參數”，但每幀渲染前需要用這個信息進行排序，以正確合成透明度。

🧠 總結表格：一個點的關鍵參數

類別	參數	描述	作用
幾何	`μ`	空間位置	決定點在哪里
幾何	`Σ` 或 `Λ`	空間形狀協方差	控制模糊方向和大小
外觀	`c`	顏色	決定渲染顏色
外觀	`α`	不透明度	控制遮擋和貢獻
渲染	`SH特征`（可選）	視角依賴色	表面高光反射等特效
渲染	深度距離	相機距離	控制前后遮擋順序