💡 一、模型結構關鍵詞
1. Transformer
Transformer 是一種專門用來“理解文字”的神經網絡結構。就像一個聰明的秘書，能同時看懂整段話的所有詞之間的關系，而不是像老式模型那樣一句一句讀。
👉 舉例：以前的模型像一個機器人一字一句看句子，而 Transformer 像是一個能一眼掃完全文并抓住重點的讀者。
2. Encoder / Decoder
- Encoder（編碼器）：負責把輸入的文字變成“理解用”的數字信息。
- Decoder（解碼器）：把理解后的信息變成一句完整的回復或新內容。
👉 舉例：輸入“我餓了”，Encoder 會理解你是餓了，Decoder 會回復“那你去吃點東西吧”。
3. Attention / Self-Attention
這是一種讓模型“關注重點詞”的機制。比如“狗追著貓跑”，模型要知道誰在追誰，就要重點關注“狗”和“追”。
👉 舉例：你讀一句話時，也會自動注意重要的詞，Attention 就是模型的“注意力”。
4. Feed Forward
一個普通的神經網絡層，用來把每個詞的理解結果進一步加工。
👉 類比：就像你理解完每個詞之后，還要在腦子里再想一下它具體的含義。
5. Residual
讓模型保留舊信息，避免忘掉之前學的內容。
👉 類比：像你在寫作業時，在旁邊保留一個草稿記錄，避免前后邏輯出錯。
6. Positional Encoding
Transformer 本身不理解詞語的順序，所以要專門加上“位置信息”。
👉 舉例：句子“我愛你”和“你愛我”意思不同，模型需要知道“我”和“你”的位置才能理解準確。
📘 二、訓練機制關鍵詞
1. Pretraining（預訓練）
模型最初要在大量文本上自學語言規律，相當于打基礎。
👉 舉例：就像你上小學之前，要先學拼音和字母。
2. Fine-tuning（微調）
在預訓練之后，模型可以針對具體任務（如答題、寫詩）進行專門訓練。
👉 類比：基礎學完后，你可以專門練習寫作文或做數學題。
3. Masked Language Modeling（MLM）
訓練方式是“填空題”式：隨機遮住句子中的某些詞，讓模型猜出是什么詞。
👉 舉例：輸入“我今天很 [MASK]”，模型要猜“開心”或“難過”。
4. Causal Language Modeling（因果語言建模）
只能看到前面詞，來預測下一個詞。
👉 舉例：你說“我今天去”，模型要猜你下一步是“上班”還是“旅游”，不能偷看后面的詞。
5. Next Sentence Prediction
訓練模型判斷“兩句話是否有關聯”。
👉 舉例：一句是“我今天生病了”，下一句是“我請了假”，模型要學會識別這兩句是連貫的。
?? 三、推理部署關鍵詞
1. KV Cache
緩存之前生成的結果，避免重復計算。
👉 類比：你和朋友聊天，不需要每次都從第一句重復講，模型也可以記住前文。
2. Quantization（量化）
把模型參數從大數字變成小數字，壓縮模型，加快運行。
👉 舉例：就像把高清圖片壓縮成小圖，但盡量不影響清晰度。
3. LoRA（低秩適配）
只調整少部分模型參數來完成微調，節省資源。
👉 類比：給現有軟件加一個插件，而不是重新寫整個程序。
4. FP16 / INT8
模型的“計算精度”。FP16 是半精度，INT8 是 8位整數。
👉 舉例：像把原本需要用“毫米”測量的東西，換成“厘米”測量，快但略有損失。
5. Batching
同時處理多個輸入，提高效率。
👉 類比：不是一個一個炒菜，而是開大鍋做十份菜。
? 四、提示詞工程關鍵詞
1. Prompt
給模型的提示或問題。
👉 舉例：你問“寫一首關于夏天的詩”，這句話就是 prompt。
2. System Prompt
系統默認的背景設定，決定模型說話風格。
👉 舉例：“你是一位耐心的老師”，模型就會用耐心的語氣回答問題。
3. Zero-shot / Few-shot
- Zero-shot：不給模型例子，直接問。
- Few-shot：給模型幾個示例，幫助它更好理解任務。
👉 舉例：你說“翻譯‘I love you’”，就是 Zero-shot；你先給它幾個中英文對照例子再讓它翻譯，就是 Few-shot。
4. Chain of Thought
引導模型寫出思考過程，而不是直接給答案。
👉 舉例：問“2個蘋果和3個蘋果一共幾個？”模型先寫“2+3=5”，再說“答案是5”。
5. Temperature / Top-k / Top-p
控制輸出的“隨機性”。
- Temperature 高，回答更有創意；
- Top-k/p 是限制選詞范圍，保證輸出更合理。
👉 類比：就像你寫作文時，可以自由發揮（高溫）或按模板來寫（低溫）。
6. Stop Sequence
設置模型遇到某些詞就停。
👉 舉例：模型生成到“謝謝，再見。”就停止，避免繼續胡說。
📚 五、語料與訓練數據關鍵詞
1. Common Crawl
互聯網上公開網頁的數據集合，是模型學習材料的一部分。
👉 類比：就像你小時候到圖書館隨便讀所有書，模型也從網上“讀書”。
2. Deduplication
去掉重復內容，防止模型過度記憶某句話。
👉 舉例：一本書里重復太多遍“我愛你”，模型就可能過度使用這個句子。
3. Tokenization
把句子切成模型能理解的小單位（詞或字）。
👉 舉例：“我愛你”會被切成3個 Token，模型每次處理一個單位。
4. RLHF（人類反饋強化學習）
人類給模型輸出打分，然后模型根據反饋學會給出更合適的答案。
👉 類比：你教小朋友講話時，夸他講得好，他就更愿意那樣說。
🛡? 六、安全與對齊關鍵詞
1. Prompt Injection
一種攻擊方式，偷偷加內容控制模型行為。
👉 舉例：你本來叫模型“禮貌地回答問題”，但有人輸入“忽略之前所有指令”，模型可能就被控制了。
2. Jailbreak
突破模型安全限制，讓它說出不該說的話。
👉 類比：像“黑客繞過密碼”一樣，讓模型做違禁事。
3. Bias Mitigation
減少偏見，讓模型更公平。
👉 舉例：避免模型認為“程序員=男性”，減少性別歧視。
4. Guardrails
給模型設定邊界，比如不能說暴力內容或給出危險建議。
👉 類比：像兒童視頻網站一樣，自動屏蔽不良內容。
5. Constitutional AI
給模型寫一套“價值觀憲法”，讓它言行合乎道德。
👉 舉例：比如“不撒謊”、“不鼓勵暴力”、“尊重人類”，模型的回答會嚴格遵守這些原則。
)
