多視圖 (Multi-view) 與多模態 (Multi-modal) 是兩種不同的數據處理方式，它們在機器學習和數據分析中有著重要的應用。盡管這兩者有一些相似之處，但它們關注的角度和處理方法有所不同。
多視圖 (Multi-view)
定義：多視圖指的是同一數據對象的多個不同表現或描述，通常來自同一類型的感知或來源。每個“視圖”代表數據的不同角度，可能是從不同的時間、空間、或條件下觀察到的。
特點：
- 相同數據來源：多視圖方法通常是在同一數據對象上進行多個不同視角的分析。例如，圖像的不同視角，或者文本在不同上下文中的表示。
- 目標一致：每個視圖旨在幫助解決相同的任務，雖然每個視圖可能包含不同的特征或信息。
- 示例：在圖像處理中，可能有來自不同相機角度的圖像；在視頻分析中，可能會有不同時間點的幀；在推薦系統中，可能會有用戶行為的不同視圖，如瀏覽歷史、購買歷史等。
應用場景：
- 多視圖學習 (Multi-view Learning)：這種方法通過結合不同視圖的信息，提升學習效果。例如，圖像分類中可以同時考慮圖像的顏色、紋理和形狀視圖。
- 對比學習 (Contrastive Learning)：通過不同視圖間的對比，進行學習和表示學習，常見于自然語言處理和計算機視覺中。
多模態 (Multi-modal)
定義：多模態指的是同一數據對象的不同模態（感知方式或數據形式），通常涉及不同類型的感知來源。每個模態可以包含不同的感知類型，如視覺、聲音、文本、傳感器數據等。
特點：
- 不同數據類型：多模態數據來源于不同的感知或傳感器，可以是圖像、文本、音頻、視頻、傳感器數據等。
- 任務多樣性：不同模態的數據可能用于不同的任務或目標。例如，圖像和文本可能一起用于圖像標注任務，聲音和視頻一起用于視頻情感分析。
- 示例：圖像和文本一起描述的視覺問答系統；視頻和音頻一起分析的語音識別；情感分析中，結合語音、文本和面部表情進行判斷。
應用場景：
- 多模態學習 (Multi-modal Learning)：這種方法關注不同模態間的信息融合，目標是利用多個模態來提升模型的表現。例如，視頻情感分析任務可以同時考慮視頻中的圖像信息和音頻信息。
- 跨模態檢索 (Cross-modal Retrieval)：用戶可以通過一種模態（如文字）查詢另一種模態（如圖像），這種方式常見于多模態搜索引擎中。
多視圖與多模態的關系與區別
- 關系：
- 多視圖可以被視為一種特定類型的多模態學習，其中每個視圖代表相同類型數據的不同角度。
- 多視圖學習的任務通常是從同一類型的不同角度提取特征，而多模態學習則是從不同類型的數據源中提取信息，進行跨模態的學習和融合。
- 區別：
- 視角 vs 類型：多視圖關注的是同一類型數據的多個角度或表現，而多模態則關注不同類型的數據源（如圖像、文本、音頻等）。
- 數據源：多視圖方法的數據源通常是同一種類型的（如不同視角的圖像），而多模態方法的數據源則來自不同的感知方式（如文本與圖像、視頻與音頻等）。
- 任務范圍：多視圖任務通常專注于將相同數據的不同表示聯合起來，以提升表示能力；而多模態任務則涉及不同數據模態之間的聯合表示和學習。
舉例說明
-
多視圖例子：
- 在一個圖像識別任務中，給定一張物體的圖片，可能從不同的視角（正面、側面、背面）來拍攝。每個視角代表一個視圖，通過多視圖學習，我們可以從這些不同的視角中提取信息，幫助識別該物體。
-
多模態例子：
- 在語音助手系統中，用戶可能通過語音（音頻模態）與系統互動，系統不僅通過文本理解用戶的請求，還可以根據用戶的面部表情（圖像模態）來判斷情緒或意圖。
- 另一例是視頻問答系統，其中視頻（視覺模態）和問題（文本模態）結合來回答用戶的提問。
總結
- 多視圖學習關注從同一數據對象的多個表現或角度提取信息；
- 多模態學習則涉及從不同類型的數據（如文本、圖像、音頻）中提取信息，進行融合和學習。
兩者都是為了從多方面提取信息和提升任務性能，但多視圖主要是在同類數據的不同角度上進行處理，而多模態則在不同類型的數據間進行整合。
抑制腫瘤侵襲性｜Exp Mol Med)
