paper | proj | code
- 提出一種基于K-Planes的4D point cloud Representation；
- 提出一種Hybrid appearance model，包含image blending model和SH model。其中，image blending model將3D點映射回原圖中求得，SH model通過模型預測求得。
- 提出一種可導的深度排序算法，訓練時通過Pytorch計算，渲染時通過OpenGL計算，實現GPU支持的快速光柵化。
- 提出一系列減少推理渲染的方法：
- 提前計算點的位置、密度、顏色系數和blending系數等；
- 減少光柵化每個像素所需要的點數；
- 將模型從32-bit float降為16-bit
目錄
摘要
方法
Modeling Dynamic Scenes with Point Clouds
Differentiable Depth Peeling
Training
Inference
實驗
Datasets and metrics
Comparison Experiments
Ablation Studies
Storage analysis.
Rendering Speed Analysis
摘要
- 現有問題：動態場景中，渲染高分辨率圖片很慢；
- 本文：
- 提出基于K-Planes的4D point cloud Representation，支持硬件光柵化，實現快速渲染；
- 提出一種hybrid appearance model，在提高渲染質量的同時，保證渲染效率；
- 設計一種可導的深度排序算法（deep peeling algorithm），實現從RGB視頻中快速建模；
- 實驗證明，在一張4090 GPU上，可以實現對1080分辨率的400FPS渲染，4K分辨率的80FPS渲染。
方法
Modeling Dynamic Scenes with Point Clouds
- 通過space-carving algorithm從視頻中提取粗點云序列；
- 點特征通過K-Planes表達，給定坐標和時間
，可得特征：
- 點特征送入Radius MLP和Density MLP，預測該點的密度
和半徑
；
- 該點的顏色通過兩個模型計算，分別是離散的image blending model和連續的SH model。
- image blending model是指，給定空間中任意一點，可投影到輸入圖片上，檢索對應RGB值。在本文中，多張圖片檢索的RGB值，通過網絡預測加權系數，加權求和以得到該點的
。由于檢索圖像與視角無關，本文僅考慮與視角最近的
張圖片。image blending model除系數外，可以提前計算。因此，可以在提高視覺質量的同時，不增加過多計算。
- SH model，則是將點特征送入SH MLP，預測得到
。
- 最終，該點顏色由以下公式計算：
- image blending model是指，給定空間中任意一點，可投影到輸入圖片上，檢索對應RGB值。在本文中，多張圖片檢索的RGB值，通過網絡預測加權系數，加權求和以得到該點的
Differentiable Depth Peeling
- 對于像素
，首先找到距離該點相機視角最近的
個點。
- 用體渲染的方式，通過
是將點投影到2D圖像上：
- 在訓練中，本文基于PyTorch實現
。在推理階段，本文用OpenGL計算。
- 最終，該像素點顏色：
Training
包含三個損失：
- MSE Loss：
- LPIPS Loss
- Mask 損失：
- 最終訓練損失為：
Inference
通過三個方法加速推理：
- 提前計算點位置，半徑，密度，SH系數和color blending系數；
- 將模型從32-bit floats轉為16-bits，可以增加20FPS；
- 將渲染時的超參數K從15降低為12，可以在不影響視覺質量的情況下，增加20FPS；
實驗
Datasets and metrics
- DNA-Rendering：15 FPS, 10 s, 60 views, 4K/2K相機，訓練分辨率為1024 x 1224 / 1125 x 1536
- ENeRF-Outdoor：30 FPS, 1080p相機，訓練分辨率為960 x 540
- NHR：訓練分辨率為512 x 612 / 384 x 512
- Neural3DV：訓練分辨率為1352 x 1224
Comparison Experiments
Ablation Studies
- Ablation study on the 4D embedding. w/o f
- Ablation study on the hybrid appearance model. w/.o?
- Ablation study on loss functions.
Storage analysis.
Rendering Speed Analysis
