1. 3D目標檢測(Object Detection)
用于在點云中識別和定位目標,輸出3D邊界框(Bounding Box)。
🔹 方法類別:
- 單階段(Single-stage):直接預測3D目標位置,速度快但精度較低。
- 雙階段(Two-stage):先生成候選區域,再進行精細分類,精度高但計算量大。
🔹 代表模型:
- VoxelNet (2018):將點云轉換為體素,使用3D CNN進行檢測。
- PointRCNN (2019):基于PointNet++,使用Region Proposal生成3D候選框。
- PV-RCNN (2020):結合體素和點特征,改進目標定位精度。
- VoteNet (2019):基于Hough Voting,將點投票給目標中心。
- CenterPoint (2021):基于BEV(鳥瞰圖)的方法,適用于自動駕駛。
? 適用場景:
- 自動駕駛(識別車輛、行人、障礙物)
- 機器人導航(目標檢測)
- 農業(檢測果實、樹木)
2. 3D語義分割(Semantic Segmentation)
用于為每個點分配類別標簽,適用于場景理解。
🔹 方法類別:
- 體素化(Voxel-based):如 MinkowskiNet、SparseConvNet。
- 基于點(Point-based):如 PointNet++、Point Transformer。
- 基于圖(Graph-based):如 GCN、DGCNN。
🔹 代表模型:
- PointNet (2017):直接處理點云,適用于簡單結構。
- PointNet++ (2017):引入局部鄰域聚合,提高細節捕捉能力。
- RandLA-Net (2020):使用隨機點采樣,提高計算效率。
- KPConv (2019):使用可變形卷積處理點云,提高表達能力。
- Point Transformer (2021):基于Transformer,提高長距離依賴建模能力。
? 適用場景:
- 室內場景理解(如 S3DIS 數據集)
- 地形和城市建模(如 Semantic3D)
- 果樹、植物點云分割(如蘋果樹枝、葉片、果實)
3. 3D實例分割(Instance Segmentation)
用于區分不同個體的點云,即同類別不同實例要區分開,例如不同的樹枝或不同的果實。
🔹 代表模型:
- SGPN (2018):基于PointNet的端到端實例分割方法。
- 3D-MPA (2020):結合多尺度特征學習進行實例分割。
- PointGroup (2020):利用點的聚合特性,提高實例分割精度。
- DyCo3D (2021):動態卷積提升實例分割能力。
? 適用場景:
- 自動駕駛(分割不同車輛/行人)
- 工業檢測(區分不同零件)
- 果樹點云(區分不同樹枝或果實)
4. 3D關鍵點檢測(Keypoint Detection)
用于檢測點云中的重要特征點,例如物體的邊緣、拐角、接觸點等。
🔹 代表模型:
- Harris3D (1999):經典的3D關鍵點檢測算法。
- ISS Keypoint (2009):基于點密度穩定性檢測關鍵點。
- KPConv (2019):結合可變形卷積進行關鍵點檢測。
- SuperPoint3D (2021):基于深度學習的端到端關鍵點檢測方法。
? 適用場景:
- 3D物體識別(如機器人抓取)
- 3D配準(點云拼接)
- 果樹修剪(檢測關鍵生長點)
5. 3D配準(Registration)
用于對齊不同視角或不同時間采集的點云數據,適用于3D重建和變化檢測。
🔹 方法類別:
- 基于ICP(迭代最近點):如 ICP、Go-ICP。
- 基于特征匹配:如 FPFH、SHOT。
- 基于深度學習:如 DCP、PRNet。
🔹 代表模型:
- ICP (1992):最經典的點云配準方法,計算最近鄰并迭代優化。
- Go-ICP (2014):改進ICP,提高配準精度。
- DCP (Deep Closest Point, 2019):使用深度學習進行點云配準。
- FMR (Feature Matching Registration, 2020):基于特征匹配進行3D點云對齊。
? 適用場景:
- 多視角點云合并(如無人機+地面激光掃描融合)
- 變化檢測(如修剪前后點云對比)
- 醫學圖像配準
6. 3D重建(Reconstruction)
用于從點云中生成完整的3D模型,適用于缺失數據補全。
🔹 代表模型:
- Poisson Surface Reconstruction (PSR, 2006):基于泊松方程的曲面重建方法。
- AtlasNet (2018):基于深度學習的3D形狀重建。
- DeepSDF (2019):使用隱式表面表示重建3D結構。
- NeRF (2020):基于神經輻射場的3D重建方法。
? 適用場景:
- 文化遺產保護(3D掃描文物重建)
- 醫學建模(如骨骼3D重建)
- 農業(完整果樹結構重建)
總結:作用分類與代表模型
任務類別 | 用途 | 代表模型 |
---|---|---|
目標檢測 | 檢測目標,輸出3D框 | PointRCNN, PV-RCNN, VoteNet |
語義分割 | 給每個點分類 | PointNet++, KPConv, Point Transformer |
實例分割 | 區分不同實例 | SGPN, 3D-MPA, PointGroup |
關鍵點檢測 | 檢測重要特征點 | ISS Keypoint, KPConv, SuperPoint3D |
點云配準 | 3D點云對齊 | ICP, DCP, FMR |
3D重建 | 生成完整3D模型 | Poisson, DeepSDF, NeRF |