以下是Llama 4支持的特殊標記和標簽的完整列表:
通用標記
<|begin_of_text|>:指定提示符的開始。
<|end_of_text|>:模型將停止生成更多標記。此標記僅由預訓練的模型生成。
<|header_start|>…<|header_end|>:這些標記包含特定消息的角色。可能的角色是:[系統,用戶,助手]。
<|eot|>:回合結束。表示模型確定已完成與啟動其響應的用戶消息的交互的時間。這在兩種情況下使用:
在模型和用戶之間的直接交互結束時。
在模型和任何可用工具之間的多次交互結束時。這個標記向執行器發出信號,表示模型已經完成了響應的生成。
圖像標記
當運行圖像推理時,這些標記會自動填充
采用了一種動態圖像變換策略,將輸入圖像劃分為336×336像素 .此外,全局圖塊(通過將整個輸入圖像縮放到336×336像素而創建)附加在局部圖塊之后,以提供輸入圖像的全局視圖。
<|image_start|>…<|image_end|>:這些標記將圖像數據包含在提示符中。
<|patch|>:這些標記表示輸入圖像的子集。較大的圖像在提示符中有更多的補丁標記。
<|tile