文章目錄
- RIP-AV: Joint Representative Instance Pre-training with Context Aware Network for Retinal Artery/Vein Segmentation
- 摘要
- 方法
- 實驗結果
RIP-AV: Joint Representative Instance Pre-training with Context Aware Network for Retinal Artery/Vein Segmentation
摘要
背景： 基于深度學習的視網膜動脈和靜脈 （A/V） 準確分割可以改進眼底疾病和全身性疾病的診斷、監測和管理。然而，由于背景與 A/V 比率不平衡和上下文有限，現有的調整大小和基于貼片的算法面臨著冗余、忽略薄血管以及在視網膜圖像的低對比度邊緣區域表現不佳等挑戰。
目的： 開發了一種用于視網膜 A/V 分割的新型深度學習框架，名為 RIP-AV，它首次將代表性實例預訓練 （RIP） 任務與用于視網膜 A/V 分割的上下文感知網絡集成在一起。
方法： 最初，我們開發了一種直接而有效的血管patch對選擇 （PPS） 算法，然后引入了一個 RIP 任務，該任務被表述為多標簽問題，旨在增強網絡從血管補片的不同空間位置學習潛在動靜脈特征的能力。隨后，在訓練階段，我們介紹了兩個新穎的模塊：Patch Context Fusion （PCF） 模塊和距離感知 （DA） 模塊。它們旨在通過協同和互補地利用血管斑塊與其周圍環境之間的關系，提高細血管的辨別力和連續性，尤其是在低對比度邊緣區域。
結果： RIP-AV 的有效性已在三個公開可用的視網膜數據集上得到驗證：AV-DRIVE、LES-AV 和 HRF，分別顯示出 0.970、0.967 和 0.981 的顯著準確性，從而優于現有的最先進的方法。值得注意的是，我們的方法在 HRF 數據集上的準確性顯著提高了 1.7%，特別是增強了細邊緣動脈和靜脈的分割
代碼地址
方法
- 預訓練任務（RIP）：所有隨機裁剪的斑塊分為四類：Pa（僅動脈）、Pv（僅靜脈）、Pav（包含動脈和靜脈）和 Pb （無血管結構），PPS 被設計成排除 Pb，從而提高訓練集的特異性
- 從卷積神經網絡 （CNN） 在淺層捕獲邊緣細節的先天能力中汲取靈感，設計了 DA 模塊，該模塊由一系列卷積層組成，通過提煉 淺層特征圖來增強對血管邊緣的感知。
- PCF 包括兩條主要路徑，分別處理局部patch特征映射及其上下文特征映射 ，結合注意力和交叉注意力
實驗結果
)
