目錄

前言

一、模型的“知識”與“能力”：兩種不同的智能

第一種：淺層知識（記憶 + 模式識別）

第二種：深層能力（推理 + 理解）

二、微調：改變的是“經歷”，不是“天賦”

? 微調能改變

? 微調無法顯著改變

三、為什么模板影響巨大：形式≠內容？

舉個例子：

四、一個形象的比喻

五、為什么“能力”幾乎改不了？

六、結語：認清微調的邊界，用對工具解決問題

---

前言

在大語言模型的世界里，模型的能力與知識到底是什么？微調究竟在改變什么？我們是否可以通過微調讓一個模型“變聰明”？這些問題，正越來越多地出現在開發者和研究者的思考中。

今天我們將從一個簡單的二分法出發，深入剖析大語言模型中**“能力”與“知識”**的區別，微調真正改變的是什么，以及為什么對話模板和提示工程在微調中舉足輕重。

微調就像給一個已經接受完本科教育的人安排一段實習或崗位培訓，它可以讓模型掌握某個領域的知識、適應特定對話風格或任務格式，但無法顯著提升模型原有的推理、理解、抽象等底層能力——也就是我們通常所說的“智能”或“智商”。

---

一、模型的“知識”與“能力”：兩種不同的智能

我們先建立一個基本的認知框架：

第一種：淺層知識（記憶 + 模式識別）

這類知識可以理解為事實性、結構化、標簽化的內容。比如：

• “你叫什么名字？”

• “張三以前是張麻子。”

• “比爾·蓋茨是微軟的創始人。”

大模型通過大規模訓練語料，從中“記住”了這些知識點或語言模式。在預訓練和微調中，這種知識是最容易被覆蓋、補充和引導的。

我們可以把這種能力比喻為記憶能力和表達能力：它決定了模型是否知道某些事，是否能像人一樣地說出來。

第二種：深層能力（推理 + 理解）

這類能力則更接近于人類所說的“智商”。例如：

• 多步數學推理

• 文本理解與信息抽取

• 抽象邏輯、歸納推理

• 編程、邏輯鏈驗證

這一能力不是通過“告訴”模型某件事情來實現的，而是模型在海量語言建模任務中，逐步形成的抽象表示與通用模式理解能力。這是一種“能力”，而非“知識”。

舉個例子：DeepSeek R1 與 LLaMA 2，在同樣的問題下可能有天壤之別的推理表現，這正是它們基礎能力的不同。

---

二、微調：改變的是“經歷”，不是“天賦”

微調到底在做什么？

我們可以類比成“對一個已經畢業的本科生，安排一段新的實習經歷”。這段經歷能讓他學會一個新話術、熟悉一套流程，甚至在某個場景中表現得更像“專家”。

但這不會改變他的大腦結構，不會讓他從本科生瞬間躍升為博士后。

? 微調能改變：

• 知識點記憶（讓模型“知道”你的名字）

• 回答風格（更加“熱情”或“專業”）

• 特定領域的語言習慣（如法律、醫療等）

• 新任務格式（指令風格、多輪對話格式）

? 微調無法顯著改變：

• 模型的整體理解能力

• 復雜數學或邏輯推理的邊界

• 模型的抽象表達層次

• 模型的token上下文窗口長度

---

三、為什么模板影響巨大：形式≠內容？

很多人驚訝于：“同樣的數據，不同的對話模板，微調結果天差地別？”

這其實并不難理解。

• 模型已經具備語言生成能力，而微調的目標是讓模型對特定“提示”產生符合預期的響應。

• 如果你的提示（Prompt）不符合模型已經學會的習慣（比如它習慣了 Alpaca 風格，而你卻用 OpenAI 風格），那么模型可能會“看不懂你在干嘛”。

• 模板，其實就是模型認知中的“輸入模式”，是溝通的一部分。如果不給出正確的提示語、輸入格式，微調數據將被模型“誤解”。

舉個例子：

微調數據：

用戶：你叫什么名字？

助手：以前叫張三，現在叫張麻子。

如果你沒有加入 "用戶：" 和 "助手：" 的模板標簽，那么模型根本無法判斷哪一句是誰說的。它只是看到了兩個句子，然后很可能學到的是“問句之后說點話”，而不是“問什么答什么”。

---

四、一個形象的比喻

把模型比作一個人：

• 預訓練過程 = 讀完本科，打好基礎，形成世界觀。

• 微調過程 = 實習或短期培訓，學習某種新業務流程或行業術語。

• 提示工程 = 給他一個“工作手冊”，告訴他“現在你要干這事兒，用這套話術來”。

你不能指望通過培訓一個月的客服，就讓他變成律師、數學家、程序員。但你可以讓他在客服場景中表現得非常專業，甚至超過很多“天賦更高”的人類客服。

---

五、為什么“能力”幾乎改不了？

因為：

1. 模型的底層能力，是由數百億到萬億參數所決定的，它們通過學習大規模數據中的分布規律和語言世界的結構而獲得。

2. 微調一般只在幾個億 Token 的數據上進行幾輪訓練，不可能重塑模型的“世界觀”。

3. 模型能力受限于結構設計（架構深度、注意力機制、位置編碼、上下文窗口），這些是硬件級別的限制。

所以：

• 你不能指望用一堆“1+1=3”的樣本，把一個聰明的模型教“傻”；

• 你也不能用一些“高數推導題”的樣本，讓一個能力弱的模型秒變天才。

---

六、結語：認清微調的邊界，用對工具解決問題

微調，是讓模型更加擅長特定場景的強大工具，但它并不能代替更強的預訓練模型。

因此：

• 想解決復雜推理、長上下文、多任務泛化能力問題，需要更好的底座模型。

• 想讓模型在某一領域說得更像專家，微調是極好的選擇。

• 想讓模型“聽懂”你的任務格式，請先準備好合適的對話模板和提示語。

真正強大的AI系統，往往是底座模型 + 精調數據 + 提示工程 + 系統集成的合力成果。