6 個核心基礎模塊

序號	模塊	說明	推薦學習順序
1	📷 三維計算機視覺基礎	建立對3D場景、點云、體積的空間理解	?第一個
2	🧮 CT成像原理與圖像表示	理解CT圖像本質、斷層數據、密度單位	?并行進行
3	🟡 NeRF與3D Gaussian Splatting原理	掌握點云/高斯場如何表示3D信息	?重點
4	🧠 深度學習框架（PyTorch）	為訓練網絡/修改代碼打基礎	?必須掌握
5	🎨 渲染基礎（體積渲染、光照模型）	尤其要懂Ray Marching、Alpha合成	?推薦補充
6	📊 3D數據處理與評價指標	如何讀寫.ply、.nii、.mhd等數據格式	🔁應用時再精學

具體推薦學習內容（含路徑）

1?? 三維視覺基礎

• ? 《Multiple View Geometry in Computer Vision》（可選讀第1-4章）

• ? B站課程或CS231n關于3D場景、三角網格、點云等基礎講解

• ? 推薦關鍵詞：三維重建、Structure-from-Motion (SfM)、點云(Point Cloud)、體素（Voxel）

---

2?? CT成像與醫學圖像表示

• ? 學習 CT的物理原理：X射線、Hounsfield Units (HU)、切片間隔、3D Volume

• ? 學會查看CT圖像格式：DICOM、.nii.gz、.mhd

• ? 推薦工具：

  • 3D Slicer（醫學圖像查看與可視化）

  • SimpleITK/PyTorch + nibabel（讀取.nii等格式）

---

3?? 3D Gaussian Splatting 相關原理

• ? 閱讀論文：“3D Gaussian Splatting for Real-Time Radiance Field Rendering”（CVPR 2023）

• ? 跑通官方代碼：https://github.com/graphdeco-inria/gaussian-splatting

• ? 理解核心概念：

  • 3D高斯點：位置、尺度、旋轉、顏色、不透明度

  • Splatting渲染原理：光線穿過多個高斯點，按透明度融合

---

4?? 深度學習基礎與PyTorch

• ? 推薦學習路徑：

  • 零基礎看莫煩PyTorch教程（B站）

  • 用小項目（如貓狗分類）練習模型訓練、損失函數、可視化

• ? 常用內容：

  • Dataset、DataLoader、model.forward

  • 損失函數（L1、MSE、Focal Loss）

  • 可視化（TensorBoard、matplotlib）

---

5?? 渲染基礎：體積渲染與透明度融合

• ? 學習Ray Marching原理（體素/場景渲染關鍵）

• ? 學習Alpha合成與光線累積規則（在3DGS中用于可視化）

• ? 可閱讀論文/博客：

  • NeRF核心原理

  • “How NeRF Works”系列博客

• ? 推薦工具：

  • Open3D

  • Kaolin / PyTorch3D（Meta）

---

6?? 3D醫學數據處理與可視化

• ? 學習如何從 DICOM/NII 讀取體積數據

• ? 掌握基本可視化：體繪制、MIP、切面分析

• ? 推薦工具：

  • SimpleITK / nibabel / monai（醫學圖像處理工具包）

  • 3D Slicer + Python腳本二次開發

? 已實現內部結構重建的核心研究

1. Volumetrically Consistent 3D Gaussian Rasterization

• 內容亮點：通過對3D高斯體積進行解析積分，實現物理一致的透明度（alpha）計算，直接用于CT/層析成像 （tomography）。

• 重點說明：作者指出該方法“直接用于CT成像”，并且在層析重建任務上達到或超越現有3DGS體方法 ruyi-zha.github.io+1arxiv.org+1jarxiv.com+6arxiv.org+6ruyi-zha.github.io+6。

2. R2?Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

• 內容亮點：這是首個專注于稀疏視圖X光/CT斷層的3DGS框架，通過校正投影積分偏差，獲得高質量體積重建，速度比 NeRF 快12倍 reddit.com+2arxiv.org+2link.springer.com+2。

• 明確實現：論文直接用于“X-ray computed tomography”，說明已經實現內部結構還原。

3. RayGauss: Volumetric Gaussian?Based Ray Casting

• 內容亮點：引入體積光線投射機制，將高斯體作為可微、物理一致的體積渲染單元，適合處理內部密度與結構 arxiv.org+1ruyi-zha.github.io+1hub.baai.ac.cn。

• 實現方向：雖然聚焦于視角合成，但其“體積光線投射”機制是內部重建基礎。

---

🔍 總結對比

論文	實現內部結構重建？	技術核心	任務類型
Volumetrically Consistent 3D Gaussian Rasterization	?	對高斯體進行體積積分	CT、層析重建
R2?Gaussian	?	X光投影+偏差校正，體積恢復	稀疏CT重建
RayGauss	?	光線體積投射	體渲染、新視角
原始3DGS	?（僅表面）	2D splatting投影	可見表面重建

---

📝 結論

• ? 已有人通過3篇關鍵論文證明了內部結構重建的可行性。

• ? 特別是 Volumetrically Consistent 3D Gaussian Rasterization 和 R2?Gaussian，明確應用于CT/X光層析任務。

• ? 也就是說，這個方向已在少量但高質量研究中實現，你無需完全從零開創，而是在已有基礎上推進。

方案方向	核心優勢	影響你任務的關鍵點
NeuSG	表面＋內部密度融合	精細幾何與體積結合
IOAR	多層級表面識別	重建明確“內”和“外”邊界
MirrorGaussian	光學混合結構處理	可處理反射/透視下結構
SOGS/RestorGS	輕量 & 深度增強	稀疏與復雜數據的重建
SuGaR / DepthSplat	高效生成網格	精細層次結構 + 加速處理