MMUNet:形態學特征增強網絡在結腸癌病理圖像分割中的應用

MMUNet: Morphological feature enhancement network for colon cancer segmentation in pathological images.

發表在：Biomedical Signal Processing and Control2024--影響因子：3.137

南華大學的論文

論文地址：main.pdf (sciencedirectassets.com)

代碼地址：https://github.com/Yuanhaojun513/MMUNet

一、摘要

二、介紹

三、方法框架

3.1改變卷積塊MCNB和MCNEAB

3.2侵蝕膨脹模塊EDM

?3.3邊緣特征模塊EFM

3.4損失函數

四、實驗和結果

4.1實驗

4.2結果

五、結論

一、摘要

結腸圖像分析是診斷結腸癌的重要步驟，由于病理切片中細胞形狀和邊界的多樣性，故存在困難。在本文中，我們提出了一種u型結腸癌分割網絡，將深度可分卷積和形態學方法相結合，減少了模型參數的數量，有效提高了分割精度。我們利用序列卷積和外部焦點作為模型的底層架構，提高了全局和局部特征的能力。我們設計了跳躍連接，以形態學的方式融合編碼器的特征，以增強形態學特征。引入邊緣增強模塊，利用形態學方法提取輪廓信息增強邊緣特征。

二、介紹

結腸癌已被證明可以通過細胞的形狀、密度和位置來預測臨床結果。傳統的結腸癌圖像分割方法，有些方法取得了一定的成功。然而，它們需要在面對不規則形狀時更具競爭力，只適用于某些類型的圖像，并且不是很健壯。

通過構建融合低級語義和高級語義的編碼器-解碼器結構，然而，這項工作沒有考慮形態學信息的影響，形態學信息對于不規則的病理切片非常重要。連續的下采樣和上采樣可以獲得豐富的語義信息，但會丟失一些目標信息，影響邊緣的紋理特征。此外，卷積的局限性導致該網絡只關注局部特征而忽略了遠程依賴。全局特征和局部特征相輔相成，有利于增強模型提取特征的能力。因此，許多研究者將transformer引入到視覺任務中，以減輕卷積的局域性，增加遠程依賴性，但這帶來了巨大的計算壓力。研究者發現，外部注意(EA)可以以較低的復雜性獲得遠程依賴的能力。?

因此本文提出了一種形態學方法UNet(MMUNet)來解決病理圖像中結腸癌分割中形狀不規則和邊緣不準確的問題。改進了ConvNeXt的基本模塊，使其適合于結腸癌的分割。

我們使用改進的塊構造一個多尺度卷積模塊(MCNB)來提取多尺度特征。我們構建了一個多尺度卷積外部注意塊(MCNEAB)，使用MCNB和EA相結合來提取局部和全局特征。其次，利用侵蝕膨脹模塊(EDM)對編碼器特征進行形態學融合，增強形態學特征;最后，利用邊緣特征模塊(Edge Feature Module, EFM)提取編碼器基特征和解碼器基特征，增強邊緣特征?。

主要貢獻：

1. 構建侵蝕膨脹模塊(EDM)和邊緣特征模塊(EFM)，分別引入形態學方法融合編碼器特征和提取輪廓，進一步增強形態學特征和邊緣特征。

2. 我們提出了多尺度卷積塊(MCNB)和多尺度卷積外部注意塊(MCNEAB)，增強了提取全局和局部特征的能力。

3. 我們在三個結腸癌數據集上進行了廣泛的實驗來驗證我們方法的有效性。

三、方法框架

它是一個結合卷積神經網絡和形態學方法的u形網絡，包括由多尺度卷積塊和外部注意(EA)組成的基本架構，邊緣特征模塊(EFM)和使用侵蝕和膨脹的編碼器特征融合模塊(EDM)。我們僅在前三層使用多尺度卷積塊(MCNB)，在后兩層使用多尺度卷積外部注意塊(MCNEAB)，從而降低了復雜性并提高了捕獲上下文信息的能力。對于EFM，我們使用編碼器的前兩層和解碼器的最后一層的特征信息提取邊緣特征。對于EDM，形態學方法將在編碼器特征上進行操作，以增強形態學特征。

3.1改變卷積塊MCNB和MCNEAB

基于改進的ConvNeXt塊，將7 × 7深度卷積分成4個部分。第一部分執行卷積核大小為3，第二部分執行卷積核大小為5，第三部分執行卷積核大小為7。最后一部分保存原始信息，第二部分接收第一次卷積后的結果，第三部分接收第二部分進行卷積后的結果。MCNB用于提取多尺度特征。然后，將MCNB與EA連接起來，得到遠程依賴關系，稱為多尺度卷積外部注意塊。

注?EA論文地址：https://arxiv.org/pdf/2105.02358

? ? ?ConvNeXt論文地址：https://arxiv.org/abs/2201.0354

EA使用一個外部矩陣M來建模第i個像素和第j行之間的相似性，且M是可學習的、大小可變的，同時，M還可以隨著訓練過程的進行建模整個數據集不同樣本間的聯系在實際應用中，M分為兩個：M_k、M_v，分別對應SA中的K和V：A ?= Norm（FM_K^T）;Fout = AM_v

3.2侵蝕膨脹模塊EDM

侵蝕使圖像更平滑，并去除小噪聲點。膨脹增強了圖像的細節，填補了小洞。我們通過侵蝕和膨脹過程融合編碼器特征。該方法的優點是去除了噪聲并保留了足夠的形態學信息。

利用SoftMax對編碼器特征映射X進行二值化。使用MaxPooling(內核大小為7，步長為1，填充為3)實現侵蝕和擴展，因為更大的內核捕獲更多的上下文信息并擴展接受域。

對編碼器特征X1進行并行腐蝕和擴展，對擴展后的特征映射進行Tanh計算加權。一方面，對腐蝕特征圖進行Sigmoid加權，并與膨脹特征圖相乘計算相似矩陣; 另一方面，利用Sigmoid算法將腐蝕后的特征圖與原始地圖融合，計算權值，得到原始地圖的相似度矩陣。最后對兩個相似矩陣信息進行融合。

?3.3邊緣特征模塊EFM

錯誤的邊界會產生許多錯誤的病變區域。標準的卷積神經網絡提取附加特征來補充邊緣特征，但單個特征會丟失邊緣信息。由于底層特征具有足夠的邊緣信息，我們使用編碼器的下兩層特征和解碼器的最后一層特征。EFM對兩個輸入分別提取輪廓，去除圖像中的噪聲和不規則部分，得到更準確的邊緣信息。

編碼器第一層的特征X1直接通過形態學方法計算邊緣，得到X1_edge。X2使用第二層編碼器特征，通過上采樣DwConv和形態學方法提取邊緣信息。X1_edge和X2_edge沿通道方向連接，兩部分信息融合得到更精確的邊緣。最后對編碼器特征X和邊緣特征求和:

3.4損失函數

由于病理圖像的復雜性和多樣性，我們選擇Dice系數和交叉熵損失來訓練我們的網絡，它可以關注分割區域的匹配程度和每個像素點的分類精度來提高分割性能。

其中Y_i代表真實值，P_i代表預測值

四、實驗和結果

4.1實驗

?數據集：三個結腸癌數據進行了廣泛的實驗，如下數據內容信息。

評價指標：五個評估指標包括Jaccard, Dice系數，Precision, Sensitivity和Specificity。

其中TP (TN)描繪了正確預測的標記為正(負)的病變像素。相反，FP (FN)描述了被標記為正(負)的錯誤預測的病變像素。

tip?我們的網絡使用PyTorch實現，并在具有48G顯存的A6000顯卡上進行訓練。我們選擇AdamW作為優化器，學習率設置為0.0015，批大小設置為4，訓練epoch設置為400。我們的數據增強方法包括隨機調整大小、隨機裁剪、水平翻轉和垂直翻轉。由于三個數據集具有不同的圖像分辨率大小，我們將圖像隨機裁剪為224 × 224像素。

4.2結果

三種數據集與其他模型進行比較

?消融實驗

對比實驗

損失函數以及卷積大小選擇

五、結論

結腸病理圖像是病理學家診斷癌癥的重要標準之一，計算機輔助醫學診斷對于結腸癌的初步篩查至關重要。本文提出了一種基于MMUNet的結腸癌病理切片病變區域自動分割方法。我們提出的模型在三個結腸癌數據集上得到了驗證。首先，我們利用先進的卷積結構來增強模型的特征提取能力，并利用卷積模塊與外部關注進行串行化，以獲取遠程依賴關系，降低模型復雜度。其次，引入形態學方法，重新設計跳躍連接以校正來自編碼器的特征，增加形態學信息的重要性。最后，使用形態學方法直接計算邊緣，方便模型學習邊界特征。實驗結果表明，本文提出的方法優于其他競爭方法。在未來的工作中，我們將探索如何設計和使用更多的形態學方法來獲得更好的結果，適用于更多的分割任務。