期刊：Neural Networks | Journal | ScienceDirect.com by Elsevier
年份：2023
代碼：https://github.com/Lature-Yang/BASeg
摘要
語義分割是自動駕駛領域街道理解任務的重要組成部分。現有的各種方法要么專注于通過聚合全局或多尺度上下文信息來構建對象內部的一致性，要么簡單地將語義特征與邊界特征相結合來細化對象細節。盡管令人印象深刻，但大多數都忽略了內部對象和邊界之間的長程依賴關系。本文提出一種邊界感知網絡(BASeg)用于語義分割，利用邊界信息作為指導上下文聚合的重要線索。具體而言，在BASeg中提出了邊界細化模塊(Boundary Refined Module, BRM)，通過骨架中的高層多尺度語義特征來細化Canny檢測器粗粒度的底層邊界特征;在此基礎上，進一步提出了上下文聚合模塊(Context Aggregation Module, CAM)，以捕獲邊界區域與目標內部像素之間的長程依賴關系，實現相互增益并增強類內一致性。此外，所提出方法可以插入到其他CNN主干中以較小的計算預算獲得更高的性能，并在數據集ADE20K、Cityscapes和CamVid上分別獲得了45.72%、81.2%和77.3%的mIoU。與一些最新的基于resnet101的分割方法相比，大量的實驗證明了該方法的有效性。
Introduction
主要貢獻：
- 針對語義分割問題，提出了由邊界特征、語義特征和聚合特征組成的語義分割框架BASeg，該框架采用基于注意力的機制來引導邊界特征的上下文聚合。
- 將邊界細化模塊(BRM)集成到BASeg中，從Canny檢測器獲得的粗輪廓中生成顯著的細化邊界信息。
- 在Cityscapes和CamVid等公共駕駛場景數據集和ADE20K等語義數據集上進行了廣泛的實驗，證明了所提出模型的優越性能。
Method
網絡架構：
- BASeg網絡由邊界流、語義流和聚合流組成，利用邊界上下文信息來分割對象。
- 邊界流用于預測給定圖像的二值邊界，語義流用于生成語義特征圖，聚合流用于捕獲語義特征圖和邊界特征圖之間的長距離依賴。
- 網絡架構包括使用ResNet101作為主干網絡，ASPP（Atrous Spatial Pyramid Pooling）模塊用于提取空間信息，以及引入全局平均池化分支以提供圖像級信息。
主要組件：?
- AGB：注意門塊，過濾噪聲并增強更高層級特征的細節
- ASPP：Atrous空間金字塔池，融合多尺度特征
- CAM：上下文聚合模塊，用于捕獲邊界區域與對象內部像素之間的長距離依賴關系，實現相互增益并增強類內一致性。
- BRM：邊界細化模塊，用于通過高級多尺度語義特征來細化Canny檢測器粗略檢測到的低級邊界特征。
- Canny：邊緣檢測器
2.1 Boundary Refine Module（BRM）
提升從Canny邊緣檢測器獲得的粗略邊界特征，并將其與深層的語義特征結合起來，以便于網絡能夠更準確地識別和細化對象的邊界。
AGB中，特征信號X（來自Canny檢測的輪廓特征）和門控信號G（來自語義特征圖的高級特征）被結合起來，以增強邊界區域的特征。
2.2 Context Aggregation Module?（CAM）
負責捕獲邊界區域與對象內部像素之間的長距離依賴關系，以增強語義分割的性能。
計算過程：
- 特征轉換：CAM通過三個1×1卷積層將語義特征F和邊界特征B轉換為三個新的特征圖Q (Query), K (Key), V (Value)。這有助于減少參數數量和計算成本。
- 親和力矩陣計算：通過計算Key和Query之間的親和力矩陣S，來衡量不同像素間的相互影響。親和力矩陣S是通過Key和Query的矩陣乘法以及Softmax函數得到的。
- 注意力機制：親和力矩陣S反映了像素間的相關性，通過Softmax函數進行歸一化處理，以突出顯示重要像素對其他像素的影響。
- 特征適應：對親和力矩陣S應用另一個1×1卷積層進行特征適應，以進一步優化特征表示。
- 上下文聚合：利用親和力矩陣和Value特征圖V，通過元素級求和操作，聚合輸入的語義特征圖和上下文注意力圖，生成聚合后的特征圖F。
?2.3?Loss function
用來衡量模型預測與真實標簽之間的差異，并指導網絡訓練過程中的參數更新。BASeg采用了一個多任務損失函數，它聯合了三個獨立的損失來優化網絡的不同部分：
1. body loss：計算了網絡對每個像素預測的類別概率與真實標簽之間的差異。
2. bound loss：衡量了預測的邊界與真實邊界標簽之間的差異，有助于細化邊界區域的分割。
?3. 輔助損失：像素級交叉熵損失，用于對選定的中間層特征進行輔助監督，以幫助網絡學習更泛化的特征表示。中間層 F4 施加輔助監督來訓練模型、
4. 聯合損失：
