💛前情提要💛
本文是傳知代碼平臺中的相關前沿知識與技術的分享~
接下來我們即將進入一個全新的空間，對技術有一個全新的視角~
本文所涉及所有資源均在傳知代碼平臺可獲取
以下的內容一定會讓你對AI 賦能時代有一個顛覆性的認識哦！！！
以下內容干貨滿滿，跟上步伐吧~
📌導航小助手📌
- 💡本章重點
- 🍞一. 概述
- 🍞二. 主要貢獻
- 🍞三. 技術細節
- 🍞四. 實驗結果
- 🫓總結
💡本章重點
- 輔助任務改進社交帖子多模態分類
🍞一. 概述
-
這篇文章的主要內容是關于如何通過利用圖像-文本輔助任務來提高社交媒體帖子的多模態分類效果。研究者們在多模態模型微調過程中聯合使用了兩種輔助損失：圖像-文本對比（Image-Text Contrastive, ITC）和圖像-文本匹配（Image-Text Matching, ITM）。ITC 旨在最小化帖子內部圖像和文本表示之間的距離，從而有效地彌合圖像在傳達帖子意義中扮演重要角色時的鴻溝。ITM 則增強了模型理解圖像和文本之間語義關系的能力，提高了處理模糊或關系不緊密模態的能力。
-
研究者們結合了五種多模態模型，并在五個不同的社交媒體數據集上進行了實驗，展示了使用這兩種輔助任務可以一致性地提高模型性能，最高可提升 2.6 的 F1 分數。文章還提供了詳盡的分析，展示了在特定場景下每種輔助任務最有效。
-
此外，文章還介紹了實驗設置、使用的數據集、單模態方法、多模態模型、評估方法和結果。研究者們使用了不同的預訓練模型，包括 BERT、Bernice、ResNet152 和 ViT，并在不同的社交媒體任務上進行了實驗，如文本-圖像關系分類、情感分析、仇恨言論分類、諷刺檢測和商業影響力內容檢測等。
-
最后，文章討論了研究的局限性，包括目前實驗僅使用英文數據集，以及輔助任務的加入可能會增加訓練時間。盡管如此，作者認為這些額外的時間與大型語言模型的預訓練時間相比是相對較小的
🍞二. 主要貢獻
文章的主要貢獻可以總結為以下幾點：
-
多模態模型微調的輔助任務研究： 文章提出了一個廣泛的研究，比較了在微調過程中聯合使用圖像-文本對比（ITC）和圖像-文本匹配（ITM）兩種輔助損失的多模態模型。
-
性能提升： 展示了在五個不同的多模態社交媒體數據集上，使用ITC和ITM作為輔助損失的模型一致性地提高了性能，最高可提升2.6 F1分數。
-
具體場景分析： 提供了詳盡的分析，揭示了在不同類型的圖像-文本關系中，個別輔助任務及其組合的有效性。
-
模型和數據集的多樣性： 研究涵蓋了五種不同的多模態模型，并在五個不同的社交媒體數據集上進行了實驗，這表明了方法的通用性和適應性。
-
對低資源場景的探討： 文章還探討了在不同數量的訓練樣本下模型的泛化能力和數據效率，這對于資源受限的情況特別重要。
-
對模型有效性的深入理解： 通過分析Ber-ViT-Att模型在TIR數據集上的預測，文章幫助理解在不同圖像-文本關系類型下，輔助任務如何受益。
這些貢獻為社交媒體帖子的多模態內容分類提供了新的視角和方法，有助于提高自動檢測情感、諷刺和仇恨言論等下游任務的準確性。
🍞三. 技術細節
Image-Text Contrastive (ITC)
ITC就是使用對比學習的方法讓圖像和文本的特征對齊。
因為多模態數據集一個文本對應一個圖片，那么通過對比學習的方式，讓對應的這組文本和圖像的相似度更大，也就是特征更加相似，從而完成特征的對齊。
因此損失函數由兩部分構成：
- 一個是為了讓配對的文本-圖像距離盡可能近而離另外的文本盡可能遠。
- 一個是為了讓配對的文本-圖像距離盡可能近而離另外的圖像盡可能遠。
Image-Text Matching (ITM)
在社交媒體帖子中，不相關或弱相關的文本-圖像對很常見，僅僅用ITC，可能圖像和文本表面上看上去確實沒有關聯，但是可能有著深層次的關聯，使用這個任務可以幫助模型挖掘這深層次的關系。
這個輔助任務也很簡單，就是50%的概率隨機替換文本-圖像對中的圖像數據，如果被替換了，那么文本和圖像就是不匹配的，如果沒有替換，文本和圖像就是匹配的，這時可以讓模型去預測，文本和圖像當前到底匹不匹配，從而轉化成一個二分類問題。
其損失函數如下：
聯合微調目標
分類任務+輔助訓練任務，一起進行訓練，損失函數如下：
其中CE就是cross-entropy classification loss，也就是模型最終分類預測結果的損失函數。
🍞四. 實驗結果
其中:
-
+C就是加了ITC輔助任務
-
+M就是加了ITM輔助任務
可以看到，輔助任務確實可以優化模型的表現
🫓總結
綜上，我們基本了解了“一項全新的技術啦” 🍭 ~~
恭喜你的內功又雙叒叕得到了提高！！！
感謝你們的閱讀😆
后續還會繼續更新💓，歡迎持續關注📌喲~
💫如果有錯誤?，歡迎指正呀💫
?如果覺得收獲滿滿，可以點點贊👍支持一下喲~?
【傳知科技 – 了解更多新知識】
解決)
)
