TabAttention: Learning Attention Conditionally on Tabular Data

摘要

醫療數據分析通常結合成像數據和表格數據處理，使用機器學習算法。盡管先前的研究探討了注意力機制對深度學習模型的影響，但很少有研究將注意力模塊與表格數據相結合。本文介紹了一種名為TabAttention的新模塊，該模塊通過在卷積神經網絡（CNNs）中引入條件性訓練的注意力機制來提升模型性能。具體來說，研究者將卷積塊注意力模塊擴展到3D，通過添加時間注意力模塊，利用多頭自注意力機制來學習注意力圖。此外，他們通過整合表格數據嵌入來增強所有注意力模塊。

該方法在胎兒體重（FBW）估計任務中得到了驗證，使用了92個胎兒腹部超聲視頻掃描和胎兒生物測量數據。結果表明，TabAttention在FBW預測上優于臨床醫生和依賴表格數據和/或成像數據的現有方法。這種新穎的方法有潛力在結合成像和表格數據的各種臨床工作流程中改善計算機輔助診斷。研究者提供了將TabAttention集成到CNNs中的源碼，地址為：
代碼地址

方法

圖1. 提出了受CBAM啟發的TabAttention模塊概覽。在現有架構中添加了時間注意力模塊，以擴展方法至3D數據處理。在設置中，通道、空間和時間注意力圖在表格數據的條件下進行訓練。?表示元素級乘法。

圖2. TabAttention組件的詳細信息：CAM（a）、SAM（b）和TAM（c）與表格嵌入。在TAM中，只顯示了一個注意力頭。TabAttention與殘差塊集成，如（d）所示。 ? 表示矩陣乘法。

實驗結果