Task Success Prediction for Open-Vocabulary Manipulation Based on Multi-Level Aligned Representations

?? 論文標題：Task Success Prediction for Open-Vocabulary Manipulation Based on Multi-Level Aligned Representations
?? 論文作者：Miyu Goko, Motonari Kambara, Daichi Saito, Seitaro Otsuki, Komei Sugiura
?? 研究機構: Keio University, Japan
?? 問題背景：當前的任務成功預測模型在處理開放詞匯操作任務時，尤其是在基于指令句子和操作前后自拍圖像的情況下，往往無法準確理解對象的詳細特征和位置的細微變化。這導致了在任務成功預測上的性能不佳。
?? 研究動機：為了提高任務成功預測的準確性，研究團隊提出了一種新的方法——Contrastive λ-Repformer，該方法通過多級對齊表示來預測桌面開放詞匯操作任務的成功或失敗。研究旨在通過整合視覺信息、自然語言對齊特征和通過自然語言結構化的特征，提高模型對操作前后圖像變化的理解能力。
?? 方法簡介：研究團隊提出了Contrastive λ-Repformer，該方法通過λ-Representation Encoder生成包含三種關鍵特征的多級對齊表示：保留局部圖像信息的特征、與自然語言對齊的特征、以及通過自然語言結構化的特征。然后，通過Contrastive λ-Representation Decoder計算兩個圖像表示之間的差異，以評估這些差異與指令句子的對齊情況，從而預測任務的成功或失敗。
?? 實驗設計：研究在SP-RT-1數據集和SP-HSR基準上進行了實驗。SP-RT-1數據集基于大規模標準數據集RT-1構建，包含約1,000個場景和30個對象。SP-HSR基準則在物理環境中使用移動操作機器人進行驗證。實驗評估了不同方法在任務成功預測上的性能，包括UNITER、InstructBLIP、GPT-4V和Gemini等基線方法。實驗結果表明，Contrastive λ-Repformer在兩個數據集上均取得了最佳性能，顯著優于其他基線方法。

FMBench: Benchmarking Fairness in Multimodal Large Language Models on Medical Tasks

?? 論文標題：FMBench: Benchmarking Fairness in Multimodal Large Language Models on Medical Tasks
?? 論文作者：Peiran Wu, Che Liu, Canyu Chen, Jun Li, Cosmin I. Bercea, Rossella Arcucci
?? 研究機構: University of Bristol、Imperial College London、Illinois Institute of Technology、Technische Universit?t München
?? 問題背景：多模態大語言模型（MLLMs）在醫療任務中取得了顯著進展，如視覺問答（VQA）和報告生成（RG）。然而，這些模型在不同人口統計群體中的公平性問題尚未得到充分探索，盡管在醫療保健中這一點至關重要。現有醫療多模態數據集缺乏人口統計多樣性，使得公平性評估變得復雜。
?? 研究動機：為了填補這一空白，研究團隊提出了FMBench，這是第一個專門設計用于評估MLLMs在醫療多模態任務中公平性的基準。FMBench旨在通過包含詳細的人口統計屬性（種族、性別、語言和民族）的數據集，全面評估MLLMs在VQA和RG任務中的表現和公平性。
?? 方法簡介：研究團隊構建了一個包含30,000個醫療VQA對和10,000個醫療圖像-報告對的數據集，每個樣本都標注了詳細的人口統計屬性。此外，他們提出了一個新的評估指標——公平性感知性能（FAP），用于評估MLLMs在不同人口統計群體中的公平表現。FAP不僅考慮了模型的整體性能，還衡量了不同群體之間的性能差異。
?? 實驗設計：研究團隊在八個最先進的開源MLLMs上進行了零樣本評估，這些模型的參數規模從7B到26B不等，包括通用和醫療專用模型。實驗使用了傳統的詞級評估指標（如BLEU、METEOR、ROUGE等）和基于LLM的評估指標（如GREEN分數和LLM評分），以及新提出的FAP指標。實驗結果表明，傳統的詞級評估指標在開放形式的多模態任務中存在不足，且所有MLLMs在不同人口統計屬性上的表現不一致，顯示出潛在的公平性風險。

Visual Perception in Text Strings

?? 論文標題：Visual Perception in Text Strings
?? 論文作者：Qi Jia, Xiang Yue, Shanshan Huang, Ziheng Qin, Yizhu Liu, Bill Yuchen Lin, Yang You
?? 研究機構: National University of Singapore、Carnegie Mellon University、Guangzhou University、Meituan、Allen Institute for AI
?? 問題背景：當前的大型語言模型（LLMs）和多模態大型語言模型（MLLMs）在處理文本和圖像信息時表現出色。然而，對于嵌入在文本字符串中的視覺語義的理解，這些模型的能力尚顯不足。ASCII藝術作為一種典型的文本字符串中的視覺信息載體，能夠同時以文本和圖像形式表達相同的內容，成為分析現代LLMs和MLLMs在模態無關視覺理解能力上的重要工具。
?? 研究動機：盡管人類在ASCII藝術識別任務上可以達到接近100%的準確率，但現有的LLMs和MLLMs在這一任務上的表現遠不如人意。研究團隊通過構建一個詳細的分類樹和收集訓練集，旨在全面評估這些模型在ASCII藝術識別任務上的表現，揭示模型在處理模態無關視覺信息時的局限性，并探索通過監督微調等方法提升模型性能的可能性。
?? 方法簡介：研究團隊構建了一個名為ASCIIEVAL的測試集，包含359個概念，用于評估模型在ASCII藝術識別任務上的表現。此外，還收集了一個包含約10,000個數據點的訓練集ASCIITUNE，以進一步激發模型的視覺感知能力。通過將每個ASCII藝術轉換為文本字符串、圖像或同時使用兩種模態作為輸入，研究團隊評估了數十個現有的LLMs和MLLMs，并對代表性開源模型進行了微調。
?? 實驗設計：實驗在ASCIIEVAL數據集上進行，評估了不同模型在僅文本輸入、僅圖像輸入和同時使用文本和圖像輸入三種條件下的表現。實驗設計了不同類型的ASCII藝術（如字符數量、抽象程度等），以及不同模型在不同輸入模態下的表現，以全面評估模型的視覺感知能力和模態融合能力。

Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks

?? 論文標題：Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks
?? 論文作者：Mengzhao Jia, Wenhao Yu, Kaixin Ma, Tianqing Fang, Zhihan Zhang, Siru Ouyang, Hongming Zhang, Meng Jiang, Dong Yu
?? 研究機構: University of Notre Dame、Tencent AI Seattle Lab、UIUC
?? 問題背景：當前的多模態大型語言模型（Multimodal Large Language Models, MLLMs）在處理涉及文本豐富的單圖像任務方面表現出色，但在處理涉及多個文本豐富的圖像的任務時存在挑戰。這些任務不僅要求理解單個圖像的內容，還需要跨多個視覺輸入進行推理，以捕捉邏輯流程。然而，現有的MLLMs在處理這類任務時面臨兩個主要挑戰：（1）缺乏高質量的文本豐富多圖像場景的指令調優數據集；（2）在圖像分辨率與視覺特征序列長度之間難以平衡。
?? 研究動機：為了克服上述挑戰，研究團隊提出了LEOPARD，一個專門設計用于處理涉及多個文本豐富圖像的多模態大型語言模型。LEOPARD通過構建一個包含約一百萬高質量多模態指令調優數據的數據集，以及開發一個自適應高分辨率多圖像編碼模塊，來動態優化視覺序列長度的分配，從而在保持視覺細節的同時，處理多個高分辨率圖像。
?? 方法簡介：LEOPARD的數據集LEOPARD-INSTRUCT包含925K實例，其中739K實例專門設計用于文本豐富的多圖像場景。該數據集涵蓋了三個關鍵領域：多頁文檔、多圖表和多表格、網頁軌跡。此外，LEOPARD引入了一個自適應高分辨率多圖像編碼模塊，該模塊根據輸入圖像的原始寬高比和分辨率，動態優化視覺序列長度的分配，并通過像素洗牌技術無損壓縮長視覺特征序列，以適應模型的最大序列長度限制。
?? 實驗設計：研究團隊在13個視覺語言基準數據集上進行了實驗，評估了LEOPARD在多個方面的表現。實驗結果表明，LEOPARD在5個文本豐富的多圖像基準測試中顯著優于最佳的開源MLLM，平均提高了9.61分。此外，LEOPARD在文本豐富的單圖像任務和通用領域的視覺語言基準測試中也表現出色，與最先進的MLLMs相當。進一步的消融研究表明，LEOPARD的指令調優數據集和自適應高分辨率編碼模塊對其性能提升起到了關鍵作用。

From Text to Multimodality: Exploring the Evolution and Impact of Large Language Models in Medical Practice

?? 論文標題：From Text to Multimodality: Exploring the Evolution and Impact of Large Language Models in Medical Practice
?? 論文作者：Qian Niu, Keyu Chen, Ming Li, Pohsun Feng, Ziqian Bi, Lawrence KQ Yan, Yichao Zhang, Caitlyn Heqi Yin, Cheng Fei, Junyu Liu, Benji Peng, Tianyang Wang, Yunze Wang, Silin Chen, Ming Liu
?? 研究機構: Kyoto University、Georgia Institute of Technology、National Taiwan Normal University、Indiana University、Hong Kong University of Science and Technology、The University of Texas at Dallas、University of Wisconsin-Madison、Cornell University、University of Liverpool、University of Edinburgh、Zhejiang University、Purdue University
?? 問題背景：隨著大數據時代的到來，醫療領域面臨著前所未有的數據爆炸。電子健康記錄、醫學影像、基因組測序和可穿戴傳感器等生成的大量信息，超出了人類高效分析和解釋的能力。大型語言模型（LLMs）作為人工智能的重要力量，正在引領這一挑戰的解決。LLMs最初主要集中在文本任務上，但醫學的多模態特性要求更靈活的模型，這催生了多模態大型語言模型（MLLMs）的出現。這些模型能夠處理和整合來自不同模態的信息，如文本、圖像和音頻，為醫療實踐提供了更全面的洞察。
?? 研究動機：MLLMs在醫療實踐中的應用潛力巨大，包括臨床決策支持、醫學影像分析、患者參與和溝通、以及研究開發。然而，這些模型的實施面臨數據限制、技術障礙和倫理考慮等挑戰。本綜述旨在探討MLLMs在醫療領域的當前應用，分析其架構、能力和局限性，并識別未來研究的關鍵領域，以指導MLLMs在醫療實踐中的負責任和有效集成。
?? 方法簡介：研究團隊通過文獻回顧和案例分析，系統地評估了MLLMs在醫療領域的應用。研究涵蓋了MLLMs的架構、多模態對齊方法、數據驅動方法和工具輔助方法，以及在臨床決策支持、醫學影像、患者參與和溝通、研究開發等方面的應用。此外，研究還探討了數據稀缺性、偏見、倫理和監管考慮等挑戰。
?? 實驗設計：研究通過分析現有的MLLMs在醫療領域的應用案例，評估了這些模型在不同醫療任務中的表現。實驗設計考慮了模型在數據整合、模態對齊、知識集成等方面的能力，以及在臨床決策支持、醫學影像分析、患者參與和溝通、研究開發等領域的具體應用。研究還討論了模型的可解釋性、公平性和倫理問題，以及未來研究的方向，如數據集開發、模態對齊方法的改進和倫理指南的建立。