24年的MM

創新

現有點云壓縮工作主要集中在保真度優化上。

而在實際應用中，壓縮的目的是促進機器分析。例如，在自動駕駛中，有損壓縮會顯著丟失戶外場景的詳細信息。在三維重建中，壓縮過程也會導致場景數據中語義信息(Contour)的損失。

第一個提出了感興趣區域(ROI)引導的點云壓縮范式，同時優化機器感知性能和視覺保真度。

基礎層(坐標)對點云進行簡單的編碼和解碼，增強層(特征)通過關注幾何細節來改進這一點。

Pipeline

輸入：坐標(x0，y0，z0)。

基礎層：坐標經過量化Q，和簡單的GPCC編碼得到比特流存儲，解碼再反量化得到預測的基礎坐標(x1’,y1’,z1’)。

增強層：將坐標經過量化Q反量化Q-1得到有誤差的坐標(x1,y1,z1)，做差得到殘差R，經過殘差分析模塊得到殘差特征F，F經過一個權重W得到增強殘差特征F’，在經過熵編碼得到比特流存儲，熵解碼得到預測殘差特征F’‘，經過殘差合成模塊得到預測殘差R’，加權得到預測的原始坐標(x0’,y0’,z0’)，再輸送給下游任務，重建或檢測。

剩下就是如何得到增強權重W–通過RPN和RSM。

ROI

RPN輸出所有點對應所有類別的概率向量。或者該點對應為前景或背景的概率。

Color Map用Softmax將概率轉換為類別標簽。

在Region Selection中，識別背景和前景，選擇一些類別作為背景，其余類別組成前景。

由于經過量化，反量化，坐標可能有細微變化，需要進行坐標對齊，并對不同區域生成不同權重的掩碼。

xrm應該是寫錯了，上下文其他地方都沒有出現過xrm。

將掩碼經過一系列處理匹配殘差特征的維度。

將特征對齊后的掩碼加權到增強特征中，進行后續處理。

兩階段訓練

第一階段只訓練ROI網絡，使ROI網絡能夠學會分割/識別點云中的前景與背景或具體類別。

第二階段重點優化壓縮網絡本身，并將重構后點云送入檢測器計算Ldetection。

綜合考慮幾何失真DRW?CD、碼率R以及檢測損失Ldetection。

其中DRW?CD為普通CD距離加上掩碼信息。

一些模塊細節

實驗

使用兩個室內場景數據集(ScanNet，SUN RGB-D)進行訓練和評估。將結果擴展到MVUB數據集。

壓縮效果一般。

mAP@0.25=0.6表示在IoU閾值0.25的條件下，所有類別的平均精確度為60%。

編碼時間不具備優勢。

ScanNet數據集中不同壓縮算法的檢測任務的輸出的可視化，bpp和PSNR表示平均值。

比較的方法較早，不具有前沿性。