1. 論文基本信息

發布于： 2022

2. 創新點

1. 首先提出了一種端到端深度動態點云壓縮框架(D-DPCC)，用于運動估計、運動補償、運動壓縮和殘差壓縮的聯合優化。
2. 提出了一種新的多尺度運動融合(MMF)模塊用于點云幀間預測，該模塊提取和融合不同運動流信息尺度，用于精確的運動估計。
3. 對于運動補償，論文提出了一種新穎的 3D 自適應加權插值 (3DAWI) 算法，該算法利用鄰居信息并自適應地減少遠距離鄰居的影響，從而對當前幀的特征產生逐點預測。

3. 背景

之前的方法例如 V-PCC 大多是采用將三維點云投影到二維平面上，然后采用成熟的視頻壓縮方法對投影后的點云進行壓縮，而基于幾何的 PCC 例如 G-PCC 在靜態點云上的壓縮取得了比較明顯的進步。因此本文旨在提供一種端到端的動態點云壓縮框架。

大多數學習到的 SPC 壓縮方法都建立在密集對象點云的自動編碼器架構之上 ，它將 SPC 壓縮分為三個連續的步驟：特征提取、深度熵編碼和點云重建。然而，將 SPC 壓縮網絡直接遷移到 DPC 并非易事。關鍵的挑戰是將運動估計和運動補償嵌入到端到端壓縮網絡中，以消除時間冗余。

4. Pipeline

4.1. 特征提取

采用基于稀疏 CNN 的下采樣塊（圖 3(a)）進行低復雜度的點云下采樣。下采樣塊由用于點云下采樣的步幅兩個稀疏卷積層組成，然后是幾個初始殘差網絡 (IRN) 塊用于局部特征分析和聚合。

4.2. 幀間預測

預測模塊的整體架構如圖4所示。具體來說，我們首先將 yt 和 ?yt?1 連接在一起得到 y cat t。點云的連接操作定義為：

4.3. 多尺度運動融合

4.4. 3D 自適應加權插值

4.5. 殘差壓縮

4.6. 損失函數

5. 💎實驗成果展示

---

6. 源碼環境配置：

GitHub - ttlzfhy/D-DPCC: The codes of D-DPCC: Deep Dynamic Point Cloud Compression via 3D Motion Prediction.