概述

題目：A Unified Self-Distillation Framework for Multimodal Sentiment Analysis with Uncertain Missing Modalities
發表：The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)
年份：2024
Github：暫無

現有針對缺失模態的方法可以分為兩組：

• 聯合學習方法：試圖學習不同模態中的基于關系（relation）的聚合表示
• 生成式方法：利用可獲得的模態重構缺失的模態

現有方法存在的限制：

• 僅執行固定模態缺失案例之間的交互，無法解決隨機的現實場景
• 僅關注缺失模態中粗粒度和局部的交互，導致不魯棒的聯合表示和無效的元素相關性
• 忽略了多模態表示中的冗余語義，導致性能瓶頸

方法概述：論文提出了一種統一多模態缺失模態自蒸餾框架（UMDF），通過自蒸餾機制、多粒度跨模態交互模塊和動態特征集成模塊，在多模態情感分析中解決不確定缺失模態的問題，顯著提升了在缺失模態和完整模態測試條件下的表現。

貢獻：

• 在UMDF中設計了一種統一的自蒸餾機制，通過在單個網絡內進行雙向知識轉移，從多模態數據表示的一致分布中自動學習魯棒的固有表示。雙向知識轉移路徑可以監督模型在異構模態缺失情況之間保持相似的特征分布和logits分布。這種有效的途徑抑制了對學習特征的單向依賴，并且在兩個方面是有益的：從更多模態到更少模態的知識轉移有助于恢復丟失模態的丟失信息，而在相反的方向上，則增強了特定模態的特征。
• 提出了一種多粒度交跨模態交互模塊，該模塊逐步對缺失的模態執行粗粒度和細粒度跨模態注意。它可以分層捕獲模態間的交互和模態內的動態，以補充和再現模態缺失元素的語義。
• 引入了一個動態特征集成模塊，以進一步增強有益的語義，并通過幀級（frame-level）自增強和選擇性過濾策略過濾冗余特征，以產生更精細的表示。基于這些組件，UMDF在三個多模態基準的不確定缺失模態和完整模態測試條件下顯著提高了MSA的性能。

實驗結果：