在大語言模型中,Token?是文本處理的基本單元,類似于“文字塊”,模型通過將文本分割成Token來理解和生成內容。舉一個形象一點的例子,可以理解為 AI 處理文字時的“最小積木塊”。就像搭樂高時,每塊積木是基礎單位一樣,AI 會把你的話拆成一個個 Token 來理解和生成回答。
舉個栗子🌰:
- 中文:“我喜歡貓” → 可能拆成 ["我", "喜歡", "貓"](3個Token)。
- 英文:“Hello!” → 拆成 ["Hello", "!"](2個Token)。
- 長單詞:“strawberry” → 拆成 ["str", "aw", "berry"](3個Token)。
為什么需要拆成 Token?
因為 AI 只能看懂數字,每個 Token 會被轉成唯一的數字 ID(比如“貓”→ 12345),然后 AI 通過這些數字學習文字之間的關系,比如“貓”后面常接“很可愛”。
Token 的三大特點:
- 不是簡單的字或詞:可能拆成長一點的詞,也可能拆成短一點的字母組合。
- 數量決定“飯量”:Token 越多,AI 處理越慢、費用越高(比如提問+回答總 Token 數會計費)。
- 影響回答質量:問題太長(Token 太多)可能被截斷,太短可能答不全。
省 Token 小技巧:
- 提問直奔主題,比如:“推薦上海3天行程,避開人多,預算3000元”。
- 少用客套話(比如“你好,請問……”),每個標點符號都算 Token。
簡單來說,Token 就是 AI 眼里的“文字積木”,拆得越合理,AI 越懂你。