大型語言模型（LLM）的上下文長度是指模型在處理當前輸入時能夠有效利用的歷史文本長度，通常以token（如單詞、子詞或標點）為單位衡量。例如，GPT-4支持128K token的上下文，而Llama 4 Scout甚至達到了10M token的驚人規模。這一指標直接影響模型在長文檔理解、多輪對話等復雜任務中的表現。

一、上下文長度的合理范圍

上下文長度的選擇需結合具體應用場景：

• 日常對話：通常需要8K–32K token，例如ChatGPT的默認設置，既能維持對話連貫性，又避免冗余信息干擾。
• 專業領域：法律合同審查（如Claude 3支持10萬token）、科研論文分析（如GLM-4支持百萬級token）等場景需要更大的上下文窗口。
• 多模態任務：處理視頻腳本、圖文混合內容時，需平衡文本與視覺信息的關聯，例如Gemini Ultra通過動態NTK技術實現多模態隱式對齊，支持1M token的跨模態輸入。

當前