寫在前面：實時交互llm
今天回顧一下多模態模型VITA，當時的背景是OpenAI 的 GPT-4o 驚艷亮相，然而，當我們將目光投向開源社區時，卻發現能與之匹敵的模型寥寥無幾。當時開源多模態大模型（MLLM），大多在以下一個或多個方面存在局限：
- 模態支持不全：大多聚焦于文本和圖像，對音頻、視頻的支持有限。
- 交互體驗割裂：難以實現真正的實時、低延遲、可打斷的自然語音交互。
- 端到端能力不足：往往依賴于多個獨立模型的級聯（如 ASR-LLM-TTS），存在錯誤累積和優化困難的問題。
在這樣的背景下，VITA (Vision, Interaction, Text, Audio) 應運而生。由騰訊優圖實驗室等機構聯合推出的 VITA，被譽為首個開源的、能夠同時處理視頻、圖像、文本和音頻模態，并具備先進多模態交互體驗的 MLLM。它不僅僅是對 GPT-4o 的追趕，更是開源社區在探索統一、交互式多模態智能道路上邁出的重要一步。
本篇博客將作為 VITA 的深度技術解讀，帶你深入剖析其設計思路、模型架構、訓練策略、推理機制，
