常用的多模態信息（Multimodal Information）指的是來源于多種感知通道/數據類型的內容，這些信息可以被整合處理，以提升理解、推理與生成能力。在人工智能和大模型系統中，典型的多模態信息主要包括以下幾類：
? 常用多模態信息類型
| 模態類型 | 內容舉例 | 特征 | 常用模型/技術 |
|---|
| 文本（Text） | 問答、對話、文章、代碼、標簽等 | 結構清晰，語義明確，語義表達最強 | BERT、GPT、T5、BGE、BART |
| 圖像（Image） | 照片、圖表、插畫、截圖、表單等 | 空間結構強，信息直觀，但不具結構化標簽 | ViT、CLIP、BLIP、ResNet |
| 音頻（Audio） | 語音、音樂、環境聲音、機器噪音等 | 時間連續性強，可攜帶情緒與說話人信息 | Wav2Vec2、Whisper、CLAP |
| 視頻（Video） | 動畫、監控、電影片段、教學視頻等 | 空間+時間信息結合，處理復雜 | ViViT、Video-BERT、VideoPrism |
| 語音（Speech） | 人類對話、播報、講解 | 音頻子類，攜帶語義、情緒和音色等信息 | Whisper、SpeechT5、VALL-E |
| 結構化數據（Structured Data） | 表格、CSV、數據庫記錄、傳感器數據 | 有明確字段和關系，可計算性強 | TAPAS、TaBERT、AutoML 表格 |
| 代碼（Code） | Python、HTML、SQL 等 | 邏輯嚴謹、結構化明確，可直接執行 | CodeT5、Codex、StarCoder |
| 圖（Graph） | 知識圖譜、社交網絡圖、流程圖等 | 具有節點-邊結構，表達實體關系 | GNN、GraphBERT、KG-BERT |
| 位置信息（Geo/Spatial） | 經緯度、地圖、路徑軌跡、衛星圖像等 | 地理或空間依賴性強 | GeoBERT、BEVFusion |
| 傳感器數據（Sensor/IoT） | 溫度、電流、震動、PM2.5等實時數據流 | 高頻、實時、離散時間序列 | LSTM、Informer、Transformer-TS |
| 網頁與界面信息（Web UI） | HTML 頁面、App 界面、網頁截圖 | 多模信息融合，如圖+文+按鈕+鏈接 | WebGPT、UI2Code、Screen2Vec |
🔄 多模態信息融合方式（常見形式）
| 融合方式 | 示例 | 說明 |
|---|
| 文本+圖像 | 圖文問答、圖像描述生成 | 圖像理解 + 自然語言生成 |
| 文本+語音 | 智能助理、語音翻譯 | 語音識別 → 文本 → 回答 |
| 文本+視頻 | 視頻內容問答、字幕生成 | 視頻內容分析 + 文本交互 |
| 文本+表格 | 報表問答、結構化摘要 | 基于表格內容進行語義分析 |
| 文本+代碼 | 編程助手、代碼生成解釋 | 自然語言 ? 編程語言 |
| 圖像+語音 | 視障輔助導航、圖像朗讀 | 圖像轉描述 + 語音輸出 |
| 文本+圖+結構化數據 | 多源數據決策支持 | 融合多個信息維度進行分析與生成 |
🚀 多模態信息的應用場景
| 場景 | 描述 |
|---|
| 圖文問答（VQA） | 用戶上傳一張圖，問“這是什么動物？” |
| 視頻分析 | 給定一段視頻，生成文字摘要或動作識別 |
| 醫療診斷 | 輸入醫療圖像 + 病歷記錄，輔助醫生決策 |
| 教育內容生成 | 輸入幻燈片或視頻講解，自動生成測試題 |
| 工業監控 | 結合圖像、傳感器數據、文字報警，實現故障識別 |
| 智能客服 | 用戶語音 + 文本對話，結合知識庫實時應答 |
| 機器人導航 | 輸入地圖圖像 + 語音指令，實現路徑規劃 |
