學習 & 參考資料

• 前置文章

  • Transformer 論文精讀

• 機器學習

  —— 李宏毅老師的 B 站搬運視頻

  • 自監督式學習(四) - GPT的野望
  • [DLHLP 2020] 來自獵人暗黑大陸的模型 GPT-3

• 論文逐段精讀

  —— 沐神的論文精讀合集

  • GPT，GPT-2，GPT-3 論文精讀【論文精讀】
  • GPT-4論文精讀【論文精讀·53】

• 3Blue1Brown

  —— 頂級的動畫解釋

  • 【官方雙語】GPT是什么？直觀解釋Transformer | 【深度學習第5章】

  • 【官方雙語】直觀解釋注意力機制，Transformer的核心 | 【深度學習第6章】

• 可視化工具

  • TRANSFORMER EXPLAINER

    觀察 Self-Attention 的中間過程，并調節右上角的溫度（Temperature）查看對概率的影響。

    網頁端演示的是 GPT-2（Decoder-Only）。

GPT-1

Improving Language Understanding by Generative Pre-Training
Alec Radford et al. | PDF | OpenAI | 2018.06

前言

在深入研究之前，了解相關領域重要論文的時間線¹是一個很好的習慣：

Google 的 Transformer（Attention is All You Need） 于 2017 年 6 月發表，一年后，OpenAI 的團隊發表了 GPT ，又過了兩個月，Google 的另一個團隊發表了 BERT。

縮寫 GPT 來自論文題目的 Generative Pre-Training，生成式預訓練，維基百科²中的表述是 Generative Pre-trained Transformer，二者指代一致。這是一個通用概念，當前常見的具有聊天功能的 AI 或者說 LLM 其實都可以稱作 GPT。

GPT 是一種自回歸（Auto-Regressive，AR）模型，在進一步了解 GPT 之前，可以先認識自回歸和非自回歸³：

自回歸（Auto-Regressive）

自回歸生成是指序列生成過程中，每個新生成的 token 依賴于之前生成的 token。這意味著生成過程是串行的，每一步的輸入由前面已生成的 token 組成的上下文序列構成。例如：

• 假設要生成一個長度為 $T$ 的句子 $y=(y_1,y_2,\dots ,y_T)$，在生成句子 $y$ 的過程中，首先生成 $y_1$，然后在生成 $y_2$ 時需要考慮 $y_1$；在生成 $y_3$ 時，需要考慮 $(y_1,y_2)$，以此類推，直到生成結束符號（<end>）。

這種設計確保了生成過程中的連貫性和邏輯一致性。

非自回歸（Non-Autoregressive）

非自回歸生成是一種并行生成的方式，一次性生成多個甚至全部的 token，從而顯著提高生成速度，但也會犧牲一定的生成質量。

拓展

現在也有工作使用非自回歸模型作為“預言家”來指導自回歸模型并行生成，從而在生成質量不變的情況下大幅度提高生成速度，以“空間”換時間。

相關論文：

• Fast Inference from Transformers via Speculative Decoding: arXiv 2211.17192
• Accelerating Large Language Model Decoding with Speculative Sampling: arXiv 2302.01318

貢獻

在《BERT 論文精讀》中有說到：“BERT 是第一個使用預訓練與微調范式，在一系列 NLP 任務（包括句子層面和詞元層面）都達到 SOTA 的模型。”這句話的關鍵在于“都”字，因為實際上，GPT 更早地使用了預訓練與微調的范式，只不過當時并沒有在 12 個任務上全都達到最佳，而是在 9 個任務上超越了當時的 SOTA。

GPT 的主要貢獻如下：

• 「預訓練 + 微調」范式的驗證（基于 Transformer 解碼器）
  • 采用了僅由 Transformer 解碼器堆疊的架構（使用 Masked self-attention 從左到右預測下一個詞），在大規模未標注語料上進行生成式預訓練。
  • 隨后，模型在下游任務（文本蘊含、文本分類、問答等）上通過有監督微調來適配不同場景，最終在 9/12 的任務上取得了 SOTA，證明了 Transformer 架構在語言建模上的可行性。
  • 雖然在 GPT 出現之前已有基于預訓練詞向量（Word2Vec [MCCD13]、GloVe [PSM14]）或 ELMo 等雙向語言模型的類似思路，但 GPT-1 首次在一個大規模、純 Transformer 解碼器上系統性地驗證了「預訓練 + 微調」范式的有效性，為后續基于 Transformer 架構的預訓練語言模型（如 BERT、T5）奠定了基礎。
• 引入統一的任務輸入格式
  • 通過在輸入文本中添加特殊標記以及拼接文本，將不同下游任務（文本蘊含、問答、情感分析等）的結構化輸入統一轉換為連續序列的形式。
  • 這種方法減少了為不同任務單獨設計模型結構的需求，僅通過調整輸入格式即可適應不同任務，使得同一個預訓練語言模型可以在不同任務之間復用。

GPT 和 BERT 的關系

Transformer 是 GPT 的“巨人肩膀”，而 GPT 對于 BERT 也是如此。在閱讀過 BERT 的論文后，可以感受到許多思想與 GPT 完全同頻：

1. 預訓練與微調范式的使用
2. Transformer 架構的使用
   • GPT 使用 Transformer 解碼器（decoder-only）。
   • BERT 使用 Transformer 編碼器（encoder-only）。

模型架構

論文的圖 1 分別展示了模型的架構和后續微調時不同任務的處理方式：

左半部分：Transformer 架構

讓我們自頂向下的理解這個架構，下文所說的詞/詞元實際上就是 Token。

1. 頂部：Text Prediction 和 Task Classifier

• Text Prediction：用于生成任務，預測下一個詞。
• Task Classifier：用于分類任務，如情感分析或文本蘊含任務。

2. 中部：Transformer 架構

• 遵循原論文的表達將其稱之為 transformer_block，其中每一層包含：

  • Layer Norm (LN) + 殘差連接 (+)

    對應于 Transformer 架構中的 Add & Norm。

  • Masked Multi-Head Self-Attention

    掩碼多頭自注意力機制，在生成任務中，每次預測一個詞時，當前詞只能看到左側的上下文信息，未來的詞和預測的詞都會被掩蓋。

    對應于 Transformer 架構中 Masked Multi-Head Attention。

  • 前饋網絡 (Feed-Forward Network, FFN)

• 左側的 12x 表示堆疊了12層 transformer_block。

3. 底部：Text & Position Embed

• Text Embed：將輸入的詞轉化為可訓練的嵌入向量。
• Position Embed：使用可學習的位置信息嵌入，這里和 Transformer 默認的正余弦位置編碼不同，但 Transformer 論文的 Table 3 (E) 中有對比二者的性能差異，所以并非一個新的方法。

如果對架構中的表述感到難以理解，建議先閱讀《Transformer 論文精讀》，GPT 完全基于 Transformer 原模型的架構，所以本文沒有著墨太多。

另外，可以通過拓展文章《g. 嵌入層 nn.Embedding() 詳解和要點提醒（PyTorch）》進一步了解什么是嵌入層。

Q: Transformer 的 Encoder、Decoder 和 GPT 的架構有什么區別？

下圖為 Transformer 的模型架構：

如果不考慮子層（sublayer）之間的殘差連接和 Layer Norm（Add & Norm），我們可以將 Transformer 的編碼器和解碼器層以及 GPT 的架構抽象為以下表述：

Encoder：

$$\text{輸入}\stackrel{\text{嵌入層（Embedding?Layer）}}{\to }\stackrel{\text{位置編碼（Positional?Encoding）}}{\to }\stackrel{\text{多頭自注意力（Multi-Head?Self-Attention）}}{\to }\stackrel{\text{前饋網絡（Feed-Forward?Network,?FFN）}}{\to }\stackrel{\text{輸出}}{\to }$$

Decoder：

$$\text{輸入}\stackrel{\text{嵌入層（Embedding?Layer）}}{\to }\stackrel{\text{位置編碼（Positional?Encoding）}}{\to }\stackrel{\text{掩碼多頭自注意力（Masked?Multi-Head?Self-Attention）}}{\to }\stackrel{\text{多頭交叉注意力（Multi-Head?Cross-Attention）}}{\to }\stackrel{\text{前饋網絡（Feed-Forward?Network,?FFN）}}{\to }\stackrel{\text{輸出}}{\to }$$

從架構上看，Decoder 相較于 Encoder 多了掩碼機制和交叉注意力，實際上真正區分二者的是自注意力中的掩碼機制，防止模型在生成時看到未來的詞。

注意，交叉注意力也被稱為編碼器-解碼器注意力（Encoder-Decoder Attention）。

GPT：

GPT 的架構可以被視為去除了交叉注意力的 Decoder。

$$\text{輸入}\stackrel{\text{嵌入層（Embedding?Layer）}}{\to }\stackrel{\text{位置編碼（Positional?Encoding）}}{\to }\stackrel{\text{掩碼多頭自注意力（Masked?Multi-Head?Self-Attention）}}{\to }\stackrel{\text{前饋網絡（Feed-Forward?Network,?FFN）}}{\to }\stackrel{\text{輸出}}{\to }$$

右半部分：不同任務的輸入處理

GPT 將不同的自然語言處理（NLP）任務的輸入轉化為統一的序列格式，使得預訓練的生成模型（圖中的 Transformer）可以直接接受它們進行處理，避免為每個任務設計特定的模型架構。

以下符號將遵循原論文的表述，這里將用到三種特殊詞元（Special Token）：

• 開始詞元（Start Token）: $?s?$，表示序列起始。
• 結束詞元（End Token）: $?e?$，表示序列結束。
• 分隔詞元（Delimiter Token）: $，用于分隔子序列，例如前提句和假設句，問題和答案。

這些標記并不是為人類設計的，而是為模型提供明確的語義提示，以便在訓練中建立序列關系。

注意，這些符號在預訓練時是不存在的，微調賦予了它們意義。

1. 文本分類（Classification）

文本分類任務的輸入是單一文本，目標是根據文本內容預測類別（例如電影評論情感分析：積極或消極）。

輸入格式：

$$?s?\text{文本}?e?$$

2. 文本蘊含（Textual Entailment）

文本蘊含任務，也稱自然語言推理（NLI）⁴，目標是判斷前提（Premise）與假設（Hypothesis）之間的關系：

1. 蘊含（Entailment）：由前提可以推出假設，p $?$ h。
2. 矛盾（Contradiction）：前提與假設相矛盾。
3. 無關（Neutral）：前提和假設無直接關聯。

這是一個三分類問題，舉個例子：

蘊含（positive TE，premise entails hypothesis）：

• 前提：“所有鳥類都有翅膀。”
• 假設：“麻雀有翅膀。”
• 關系：假設可以從前提推導出，因此為蘊含。

矛盾（negative TE，premise contradicts hypothesis）：

• 前提：“所有鳥類都有翅膀。”
• 假設：“企鵝沒有翅膀。”
• 關系：假設與前提的事實相矛盾，因此為矛盾（對了，企鵝是鳥）。

無關（non-TE，premise does not entail nor contradict）：

• 前提：“所有鳥類都有翅膀。”
• 假設：“所有鳥類都會飛。”
• 關系：假設無法從前提中推導，也不矛盾，因此為無關。

輸入格式：

$$?s?\text{前提}\$\text{假設}?e?$$

3. 語義相似性（Semantic Similarity）

在語義相似性任務中，目標是判斷兩個句子是否在語義上相似，例如 Quora 問題對檢測（Quora Question Pairs，QQP）要求識別兩個問題是否相似。

“Similarity For similarity tasks, there is no inherent ordering of the two sentences being compared. To reflect this, we modify the input sequence to contain both possible sentence orderings (with a delimiter in between) and process each independently to produce two sequence representations $h_l^m$ which are added element-wise before being fed into the linear output layer.”

由于句子對沒有固有的順序，論文采用了以下方法：

1. 將句子對按照兩種可能的順序輸入模型 (即 $A;B$ 和 $B;A$)。
2. 對兩種輸入序列分別處理，生成的最后一層激活向量 ($h_l^m$) 進行逐元素相加（element-wise addition）。
3. 加和后的表示被輸入到線性層中，用于判斷語義相似性。

輸入格式：

$$\begin{array}{r}?s?\text{句子A}\$\text{句子B}?e?\\ ?s?\text{句子B}\$\text{句子A}?e?\end{array}\text{\hspace{1em}?}$$

4. 選擇題（Multiple Choice）

在選擇題任務中，模型需要從多個候選答案中選擇一個最可能的正確答案，例如問答（Question Answering，QA）和常識推理（Commonsense Reasoning）。

“For these tasks, we are given a context document $z$, a question $q$, and a set of possible answers { a k } \{a_k\} {ak?}. We concatenate the document context and question with each possible answer, adding a delimiter token in between to get $[z; q; $; a_k]$. Each of these sequences are processed independently with our model and then normalized via a softmax layer to produce an output distribution over possible answers.”

此時的輸入通常包括三個部分，以問答任務為例：

1. 上下文文檔 $z$ :問題的背景信息。
2. 問題 $q$ :需要解答的問題。
3. 候選答案集 { a k } \{a_k\} {ak?} :多個可能的答案。

輸入格式：

$$\begin{array}{r}?s?\text{文檔}z\text{問題}q\$\text{答案}{a}_1?e?\\ ?s?\text{文檔}z\text{問題}q\$\text{答案}{a}_2?e?\\ ?\\ ?s?\text{文檔}z\text{問題}q\$\text{答案}{a}_k?e?\end{array}\text{\hspace{1em}?}$$

這些序列會被獨立處理，最后通過 softmax 歸一化生成概率分布。

訓練細節

無監督預訓練（Unsupervised pre-training）

在預訓練階段，模型的目標是最大化未標注語料的語言建模函數：

$$L_1(\mathcal{U})=\sum _i\log P(u_i\mid u_{i?k},\dots ,u_{i?1};\Theta )$$

其中：

• $\mathcal{U}$ :未標注的文本語料。
• $u_i$ :第 $i$ 個詞。
• $k$ :上下文窗口的大小（即當前詞基于前 $k$ 個詞預測）。
• $\Theta$ :模型參數。

具體流程

1. 輸入嵌入

   將輸入序列 $U=u_{?k},\dots ,u_{?1}$ 映射到嵌入空間：

   $$h_0=U{W}_e+W_p$$

   • $W_e$ :詞嵌入矩陣。
   • $W_p$ :位置嵌入矩陣。
   • $h_0$ :初始輸入的嵌入表示。

2. 多層 Transformer 編碼

   輸入嵌入 $h_0$ 通過 $n$ 層 transformer_block 逐層處理：

   $$h_l=\text{transformer\_block}(h_{l?1})?i\in [1,n]$$

   • $h_l$ :第 $l$ 層的輸出。

3. 預測下一個詞

   最后一層的輸出 $h_n$ 被映射回詞匯表維度，生成下一個詞的概率分布：

   $$P(u)=\text{softmax}(h_n{W}_e^T)$$

   • $W_e^T$ :詞嵌入矩陣的轉置，將隱藏狀態映射回詞匯表。
   • softmax：歸一化概率分布。

更準確一點應該是自監督（Self-supervised）而非無監督，這是一個較新（相對于 2018 年發布的 GPT）的說法，源于 2019 年 Yann LeCun 在 Facebook 上發表的帖文：

相關設置

• 數據集：

  • 使用 BooksCorpus 數據集⁵⁶，包含大約 7,000 本未出版的書籍，數據主要從電子書分發平臺 Smashwords 抓取。

    BERT 預訓練時除了 BooksCorpus 數據集（8 億詞元）外，還使用了英文維基百科（English Wikipedia， 25 億詞元），所以 BERT 的訓練資料大概為 GPT 的四倍。

    “… 所以它在這個數據集上訓練了一個比 GPT 大三倍的模型 (${\text{BERT}}_{\text{LARGE}}$) 也是可以理解的” - 沐神論文精讀 31:32 - 32:47 部分

  • 使用 ftfy 庫清理原始文本，標準化標點符號和空白字符，然后使用 spaCy 分詞器。

  • 使用 Byte-Pair Encoding (BPE) 進行子詞分解，詞匯表大小為 40,000。

    《21. BPE vs WordPiece：理解 Tokenizer 的工作原理與子詞分割方法》

• 超參數設置

  • Transformer 相關：

    • 層數 $n_{layers}=12$：Transformer 解碼器的層數。

      We trained a 12-layer decoder-only transformer with masked self-attention heads (768 dimensional states and 12 attention heads).

      原論文在 4.1 Setup 的 Model specifications 中提到了 decoder-only。

    • 隱藏層維度 $d_{model}=768$：每個隱藏層的維度為 768。

    • 注意力頭數 $n_{heads}=12$：每層的多頭注意力機制包含 12 個注意力頭，每個頭的維度為 64, $12?64=768$。

      以上數學符號與 GPT-3 的表 2-1 一致。

    • 前向層維度：Transformer 中 FFN 的隱藏層維度為 3072。

    • Dropout 率：殘差連接、嵌入層和注意力中均設置為 0.1。

    • 總參數量：約 117M。

  • 其他：

    • 訓練輪數：100。

    • 批量大小：64。

    • 最大序列長度：512。

    • 優化器：Adam。

    • 學習率調度：

      • 初始學習率為 0，前 2000 步線性增加至最大值 $2.5\times 10^{?4}$。
      • 然后采用余弦衰減策略逐漸減小學習率。

      同 Transformer 一樣有線性增加熱身的過程，但具體的衰減方式和熱身步數不同。

    • L2 正則化：權重 $w=0.01$。

    • 激活函數：GELU（Gaussian Error Linear Unit）。

    • 位置嵌入：采用可學習的位置嵌入矩陣，而非原始 Transformer 中的正弦嵌入。

有監督微調（Supervised Fine-Tuning）

在預訓練階段完成后，模型可以根據具體的下游任務進行微調。假設我們現在有一個標注數據集 $C$，其中每個樣本包含一個輸入序列 $x=(x^1,\dots ,x^m)$ 和對應的標簽 $y$。

此時的目標是最大化標簽 $y$ 在輸入序列 $x$ 下的條件概率：

$$L_2(C)=\sum _{(x,y)}\log P(y\mid x^1,\dots ,x^m).$$

具體流程

1. 特定任務輸入處理

   • 文本分類: $?s?\text{文本}?e?$
   • 文本蘊含: $$?s?\text{前提}\$\text{假設}?e?$$
   • 語義相似性: $$\begin{array}{r}?s?\text{句子A}\$\text{句子B}?e?\\ ?s?\text{句子B}\$\text{句子A}?e?\end{array}\text{\hspace{1em}?}$$
   • 選擇題: $$?s?\text{上下文}\$\text{問題}\$\text{答案}?e?$$

2. 微調目標

   微調階段的目標是優化以下條件概率：

   $$P(y\mid x^1,\dots ,x^m)=\text{softmax}(h_l^m{W}_y)$$

   • $h_l^m$ :輸入序列 $x=(x^1,\dots ,x^m)$ 經過預訓練模型的最后一層隱藏狀態，注意上標 $m$ 代表了位置。
   • $W_y$：線性層的權重矩陣（該層接在預訓練模型之后），用于將隱藏狀態 $h_l^m$ 映射到標簽空間。可以理解為預訓練模型后接線性層，比如對于二分類任務，對應的代碼是 nn.Linear(hidden_size, 2)。

3. 輔助目標

   “We additionally found that including language modeling as an auxiliary objective to the fine-tuning helped learning by (a) improving generalization of the supervised model, and (b) accelerating convergence. This is in line with prior work [50, 43], who also observed improved performance with such an auxiliary objective. Specifically, we optimize the following objective (with weight $\lambda$):”

   為了提高泛化能力和加速收斂，微調階段還引入了預訓練的語言建模目標函數作為輔助，最終的目標函數如下：

   $$L_3(C)=L_2(C)+\lambda L_1(C)$$

   • $\lambda$ :輔助目標函數的權重。

相關設置

微調階段對 12 個下游任務進行了實驗，按照之前的分類：

• 數據集

  • 文本分類：Stanford Sentiment Treebank-2 (SST-2)、Corpus of Linguistic Acceptability (CoLA)。
  • 文本蘊含：SNLI、MultiNLI、Question NLI、RTE、SciTail。
  • 語義相似性：MSR Paraphrase Corpus (MRPC)、Quora Question Pairs (QQP)、STS Benchmark (STS-B)。
  • 選擇題：RACE、Story Cloze。

• 超參數設置（大多數任務）

  除了以下超參數，其余均復用預訓練階段的參數設置。

  • 微調輪數：3
  • 批量大小：32
  • 學習率調度：
    • 熱身步數為訓練總步數的 0.2%。
    • 最大學習率調整為 $6.25\times 10^{?5}$，熱身后采用線性衰減策略。
  • Dropout 率：分類器層（就是預訓練模型之后的線性層）設置為 0.1。
  • 輔助目標權重: $\lambda =0.5$。

到目前為止，還看不到現在 ChatGPT 的影子，因為針對不同的任務還需要進行微調，不能簡單的直接用對話的形式獲取答案，即便論文后續有提及 Zero-shot，但實際效果一般。

關于 Zero-shot

其實 Zero-shot 并非 GPT-2 才引入，在 GPT-1 中（第 7 頁的 Zero-shot Behaviors 部分）就已經探討了生成式預訓練模型的 Zero-shot 性能，即模型在沒有針對某些特定任務進行微調的情況下，也能通過預訓練過程中學習到的知識直接完成這些任務。

“A hypothesis is that the underlying generative model learns to perform many of the tasks we evaluate on in order to improve its language modeling capability and that the more structured attentional memory of the transformer assists in transfer compared to LSTMs. ”

• 論文假設，預訓練語言模型的生成目標讓模型在學習語言建模能力的過程中，掌握了大量任務相關的語言知識。
• Transformer 架構的結構化注意力機制（Structured Attentional Memory）相比于 LSTM 具有更好的遷移性。

“We designed a series of heuristic solutions that use the underlying generative model to perform tasks without supervised finetuning.”

作者設計了一系列啟發式方法，通過直接使用生成預訓練模型（無需監督微調）解決不同下游任務。

“For SST-2 (sentiment analysis), we append the token very to each example and restrict the language model’s output distribution to only the words positive and negative and guess the token it assigns higher probability to as the prediction…”

以情感分析任務為例，對于輸入：

The movie was incredibly entertaining.

增加 very：

The movie was incredibly entertaining. very

限制生成的輸出僅包含“positive”和“negative”，最后根據預測的概率確定情感。

下圖展示了模型在不同任務上的零樣本性能隨預訓練迭代次數的變化趨勢。性能指標歸一化到隨機猜測與當前 SOTA 之間：

可以看到，隨著訓練的進行，任務性能穩定增長，但離 SOTA 還有不小的差距。

GPT-2

Language Models are Unsupervised Multitask Learners
Alec Radford et al. | PDF | Code - 官方 Tensorflow | OpenAI | 2019.02

“當自己的模型被人用更大的數據集（+維基百科）和更大的模型 (${\text{BERT}}_{\text{LARGE}}$) 打敗的時候，應該怎么去回應？”

GPT，GPT-2，GPT-3 論文精讀【論文精讀】 33:12 - 46:05 部分

GPT-2 的整體設計思想相較于 GPT-1 沒有變化，但通過模型規模的擴展和數據集的優化，在零樣本學習（Zero-Shot Learning）上邁出了一大步。此前該領域的模型或受限于架構或受限于規模，性能遠不如 GPT-2。

關鍵改進

更大的數據集

GPT-2 使用了 WebText 數據集進行訓練。WebText 的文本來源是 4500 萬個經過 Reddit 用戶過濾后的網頁鏈接（至少有 3 karma，karma 可以當成點贊），經過去重和清理后，最終包含 800 萬篇文檔，總計約 40GB 的文本（GPT-1 數據集的大小約為 1GB）。為了避免評估數據的“泄漏”，數據集還特意去除了常見的數據來源（比如維基百科）。

同時，因為數據集的變化，詞匯表從 40,000 擴展到了 50,257。

值得一提的是，GPT-2 采用了字節級的 BPE (Byte-level Byte Pair Encoding) 進行分詞（GPT-1 使用的是 BPE）。

更大的模型

GPT-2 的參數規模（15 億參數）遠超其前身 GPT-1（1.1 億參數） 以及當時的主流模型（如 ${\text{BERT}}_{\text{LARGE}}$ 的 3.4 億參數）。但模型主體架構并沒有修改，只是調整了一些超參數：

• 層數 $n_{layers}$ :12 → 48。
• 隱藏層維度 $d_{model}$ :768 → 1,600。
• 最大序列長度：512 → 1,024。
• 批量大小：64 → 512。

另外，還引入了一些細節優化：

• 層歸一化（Layer Normalization）：調整至每個子模塊的輸入端（Pre-Norm），類似于預激活殘差網絡，同時在最后的自注意力模塊后增加額外的層歸一化。
• 殘差權重初始化：采用了 $1/\sqrt{N}$ 的權重縮放因子，其中 $N$ 是殘差層的深度。

表 2 列出了四種不同參數規模的模型配置：

其中，最小的模型（117M）對標 GPT-1，第二個模型（345M）對標 ${\text{BERT}}_{\text{LARGE}}$，最大的模型（1152M）稱為 GPT-2，它的另一個名字是 GPT2-XL。

零樣本學習（Zero-shot Learning）

GPT-2 的創新在于對零樣本學習的進一步探索。GPT-1 微調時引入了三種特殊符號: $?s?$, $, $?e?$，這些符號在預訓練時并沒有見過，所以會在微調的時候學習表示。而 GPT-2 不再引入這些特殊符號，采用與 GPT-1 預訓練數據格式更相似的自然輸入格式（其實就是不做多余操作，單純的預訓練），這也是后續文獻常提及以及我們現在耳熟能詳的 Prompt，作者給出了兩個例子：

• 翻譯：translate to French, English text, French text。

  論文的表 1 展示了 WebText 中自然出現的語言翻譯例子：

  

• 閱讀理解：answer the question, document, question, answer。

正如論文標題 「Language Models are Unsupervised Multitask Learners」 所暗示的，在 GPT-2 的原始論文中，模型并未針對任何下游任務進行有監督的微調（fine-tuning），而是直接在大規模文本上進行預訓練，然后在各種 NLP 任務上測試性能。

所以 Zero-shot 或許可以片面地理解為只進行預訓練。

Q1：什么是 Pre-Norm？和 GPT-1 的區別？

結合圖例⁷進行理解：

如上圖 (b) 所示，Pre-Norm 就是將層歸一化放在**子層（SubLayer，例如自注意力或前饋網絡）**的輸入端，也就是在殘差連接之前。

具體公式如下：

• Pre-Norm：

  $$\text{Output}=x+\text{SubLayer}(\text{LayerNorm}(x))$$

• Post-Norm（Transformer 原始架構及 GPT-1）：

  $$\text{Output}=\text{LayerNorm}(x+\text{SubLayer}(x))$$

GPT-1 和 GPT-2 的區別

• GPT-1：Post-Norm，層歸一化放置在殘差連接之后。
• GPT-2：Pre-Norm，層歸一化放置在殘差連接之前。

代碼差異

• Post-Norm：

  def forward(self, x, sublayer):# 子層的輸出 + 殘差連接后，進行歸一化return self.norm(x + sublayer(x))
  

• Pre-Norm：

  def forward(self, x, sublayer):# 輸入先進行歸一化，再傳入子層，最后進行殘差連接return x + sublayer(self.norm(x))
  

感興趣的話可以訪問官方代碼：gpt-2 block。

GPT-3

Language Models are Few-Shot Learners
Tom B. Brown et al. | PDF | OpenAI | 2020.05

關鍵改進

GPT-3 秉承傳統：更大的數據集和更大的模型。

更大的數據集

GPT-3 的訓練數據集來自 Common Crawl、WebText2、Books1、Books2 和 Wikipedia，論文的表 2.2 列出了它們的規模、在訓練中的權重分布以及訓練 3000 億 tokens 時經過的輪次:

數據集	數據量（tokens 數）	訓練混合中的權重	訓練 3000 億 tokens 時的輪次
Common Crawl（過濾后）	約 4100 億	60%	0.44
WebText2	約 190 億	22%	2.9
Books1	約 120 億	8%	1.9
Books2	約 550 億	8%	0.43
Wikipedia	約 30 億	3%	3.4

“Note that during training, datasets are not sampled in proportion to their size, but rather datasets we view as higher-quality are sampled more frequently, such that CommonCrawl and Books2 datasets are sampled less than once during training, but the other datasets are sampled 2-3 times. This essentially accepts a small amount of overfitting in exchange for higher quality training data.”

需要注意的是，盡管 Common Crawl 是規模最大的數據集，數據量遠超其他來源（是 WebText2 的 21.58 倍），但由于質量參差不齊，其訓練權重被適當降低，僅為總權重的 60%，而較小但質量更高的 WebText2 則分配了 22% 的訓練權重。

對于數據集 Common Crawl 的處理

Common Crawl 是一個非盈利組織，會定期抓取互聯網上的網頁數據并免費開放給研究者使用。為了準備更大的數據集以匹配更大的模型，OpenAI 團隊從 Common Crawl 中下載了 2016-2019 年的 41 個數據分片，總量約 45TB（壓縮后）。在經過一系列自動化過濾、重新采樣和去重處理后，最終得到約 570GB 的文本，對應約 4100 億 Byte-Pair Encoding (BPE) 子詞。

以下細節來自于論文的附錄 A，可以跳過。

1. 自動過濾 (Automatic Filtering)

• 訓練集與分類器
  為了從原始 Common Crawl 中挑選更高質量的文檔，研究團隊先將高質量語料（如 WebText、Wikipedia、以及 web books corpus）合并為“正例”數據集，并將未經過濾的 Common Crawl 用作“負例”。隨后，利用 Spark 的標準分詞器（Tokenizer）和 HashingTF 提取文本特征，并以此訓練 Logistic Regression（邏輯回歸）分類器，為每篇文檔打“分”：

  • 得分越高，表示該文檔越“接近”高質量語料；
  • 得分較低則表明該文檔的質量“可能”欠佳。

• 重新采樣 (Resampling) 與 Pareto 分布
  利用所得到的“質量分數”，研究團隊基于以下條件進行重新采樣：

  $$\text{np.random.pareto}(\alpha )>1?\text{document\_score}$$

  其中 $\alpha =9$，文檔得分越高越容易保留，但低分文檔也有一定概率（出于維持多樣性的考慮）。

  通過代碼來理解對應的概念：

  import numpy as npdef filter_rate(doc_score, alpha=9, trials=100000):"""doc_score: 文檔分數 (0 - 1)alpha: Pareto 分布的形狀參數trials: 模擬采樣次數"""# 1. 生成很多個 Pareto(α=9) 隨機數samples = np.random.pareto(alpha, size=trials)  # 2. 計算閾值threshold = 1 - doc_score# 3. 看看有多少隨機數滿足：sample > thresholdpass_count = np.sum(samples > threshold)return pass_count / trials# 測試不同的 document_score
  scores = [0.0, 0.2, 0.5, 0.8, 0.9]
  for s in scores:rate = filter_rate(s)print(f"doc_score={s}, 通過過濾的模擬比例={rate:.4f}")
  

  輸出：

  doc_score=0.0, 通過過濾的模擬比例=0.0021
  doc_score=0.2, 通過過濾的模擬比例=0.0051
  doc_score=0.5, 通過過濾的模擬比例=0.0268
  doc_score=0.8, 通過過濾的模擬比例=0.1950
  doc_score=0.9, 通過過濾的模擬比例=0.4243
  

  • 當 doc_score=0，約 0.2% 的保留率。
  • 當 doc_score=0.9，約 42% 的保留率。

  核心思路：

  if np.random.pareto(alpha) > 1 - document_score:keep_doc = True
  else:keep_doc = False
  

2. 模糊去重 (Fuzzy Deduplication)

為進一步提升模型質量并降低過擬合風險，研究團隊還對各訓練集做了模糊去重（使用和上面分類相同的特征）：

• 在 Spark 中使用 MinHashLSH（配置 10 個哈希），利用與上面分類相同的特征來檢測文檔間的相似度，對相似度較高的文檔進行刪除。
• 同時將 WebText 中出現的內容從 Common Crawl 里刪除（方式同上）。

整體來看，模糊去重將減少 10% 的數據量。

“A major methodological concern with language models pretrained on a broad swath of internet data, particularly large models with the capacity to memorize vast amounts of content, is potential contamination of downstream tasks by having their test or development sets inadvertently seen during pre-training. To reduce such contamination, we searched for and attempted to remove any overlaps with the development and test sets of all benchmarks studied in this paper. Unfortunately, a bug in the filtering caused us to ignore some overlaps, and due to the cost of training it was not feasible to retrain the model. In Section 4 we characterize the impact of the remaining overlaps, and in future work we will more aggressively remove data contamination.”

在文中提到盡管他們嘗試去重（訓練集和測試集之間，train-test overlap），但因為某些 bug，有可能存在少量測試集內容被模型“見”過，從而造成一定的數據泄漏。而由于訓練成本太大，他們沒法重來，論文的第 4 節評估了數據泄露的影響。

更大的模型

GPT-2 訓練了 4 個不同規模的模型，最大的稱為 GPT-2，GPT-3 訓練了 8 個，同樣 😃，最大的稱為 GPT-3。表 2.1 列出了 GPT-3 八種不同規模的模型的具體訓練配置，參數量從 1.25 億到 1750 億，所有模型的訓練總量為 3000 億個 tokens。

GPT-3 延續 GPT-2 的架構：Decoder-only、Pre-Norm、Byte-level BPE 分詞，調整的超參數如下：

• 層數 $n_{layers}$ :48 → 96。
• 隱藏層維度 $d_{model}$ :1,600 → 12,288。
• 注意力頭數 $n_{heads}$ :25 → 96。
• 最大序列長度：1,024 → 2,048。
• 批量大小：512 → 3,200,000。

此外，GPT-3 的變化是交替使用密集（Dense）和局部帶狀稀疏注意力（Locally Banded Sparse Attention），這一機制類似于 Sparse Transformer。

少樣本學習（Few-shot Learning）

“Few-Shot (FS) is the term we will use in this work to refer to the setting where the model is given a few demonstrations of the task at inference time as conditioning [RWC+19], but no weight updates are allowed. ”

GPT-3 創新在于示例樣本的引入，推理時，通過在提示（Prompt）中加入少量樣本來“告訴”模型要完成的具體任務，不對模型進行任何參數更新。相較于需要額外微調（fine-tuning）的做法，極大減少了特定任務的數據量需求。

具體操作：使用 K 樣本作為條件（Conditioning）

• 在推理時，對于評估集中（test set）的每一個測試樣本，模型都會：

  1. 從對應任務的訓練集中隨機選出 K 個示例樣本。
  2. 將這 K 條示例樣本（上下文 + 正確答案）與當前測試樣本的上下文拼接在一起，作為模型的輸入（Prompt）。
  3. 讓模型根據提示（Prompt）來生成答案。

• 如果某個任務本身沒有公開的訓練集（如 LAMBADA、StoryCloze），則從對應的開發集（dev set）中選 K 條示例樣本；如果只有一個數據集（如原版 Winograd），則直接在同一數據集里選。
• K 的取值從 0（零樣本）到模型上下文窗口（GPT-3 中為 2048 tokens）所能容納的最大示例樣本數（一般為 10 - 100）。K 值通常比較大，但并不是越大越好，因此在有開發集（dev set）和測試集（test set）的任務上，往往會先在開發集上嘗試多個 K 值，然后選擇最優 K 再跑測試。

“The main disadvantage is that results from this method have so far been much worse than state-of-the-art fine-tuned models.”

對于 GPT-3 來說，Few-shot 方式在特定場景下不及 SOTA（State-of-the-Art）的微調模型。

具體任務

論文中提到了兩大類常見任務：選擇題（Multiple Choice） 和 自由生成（Free-form Completion），它們的核心流程都是“將示例樣本與測試樣本合并到 Prompt 中”。

1. 選擇題（Multiple Choice）

   下圖為 RACE-h 數據集的示例樣本：

   

   每個示例（訓練/開發集中的題目）附上該題的正確答案，對于真正需要預測的那道題，則只給出題目，但不給出答案，然后計算每個候選答案的條件概率（語言模型似然，LM likelihood）：

   $$P(\text{completion}\mid \text{context})$$

   換個寫法或許更容易理解：

   $$P(\mathbf{y}\mid \mathbf{x})=\prod _{t=1}^{T}P\left(y_t\right|\mathbf{x},y_{1:t?1})$$

   其中：

   • $\mathbf{x}$ :上下文的文本（context）。
   • $\mathbf{y}=(y_1,y_2,\dots ,y_T)$ :候選答案（completion）。
   • $y_{1:t?1}$ :在第 $t$ 個 token 之前已“生成”的內容。

   “For most tasks we compare the per-token likelihood (to normalize for length), however on a small number of datasets (ARC, OpenBookQA, and RACE) we gain additional benefit as measured on the development set by normalizing by the unconditional probability of each completion …”

   對于少數數據集（例如 ARC、OpenBookQA 和 RACE），使用無條件概率歸一化：

   $$\frac{P(\text{completion}\mid \text{context})}{P(\text{completion}\mid \text{answer\_context})}$$

   其中 $answer\_context$ 是通用字符串（例如 "Answer: " 或 "A: "），用來提示模型生成答案。

   “On tasks that involve binary classification, we give the options more semantically meaningful names (e.g. “True” or “False” rather than 0 or 1) and then treat the task like multiple choice”

   二分類任務可以當作選擇題來處理，此時會給兩個選項起更語義化的名字（例如 “True/False” 而不是 1/0）。

2. 自由生成（Free-form Completion）

   “On tasks with free-form completion, we use beam search with the same parameters as [RSR+19]: a beam width of 4 and a length penalty of α = 0.6.”

   對于生成型任務（如翻譯、摘要），采用與 [RSR+19] 相同的 beam search 參數來做解碼：

   • 束寬（Beam width） ：4
   • 長度懲罰（Length Penalty）: $\alpha =0.6$

   模型最終輸出的文本，會根據相應任務所常用的指標（F1、BLEU、Exact Match 等）來打分。

Q1：Zero-Shot、One-Shot 和 Few-Shot 的區別是什么？和 In-Context Learning 有什么關系？與微調有什么不同？

圖 2.1：

“… fine-tuning is the traditional method, whereas zero-, one-, and few-shot, which we study in this work, require the model to perform the task with only forward passes at test time. We typically present the model with a few dozen examples in the few shot setting.”

過去常說的“學習（Learning）”通常隱含參數更新的過程，所以 In-Context Learning 初見的確是一個容易迷惑的表述，可以直接將其理解為 Prompting，畢竟現在與 AI 對話的過程就是不更新模型參數的。

In-Context Learning 的特點是：通過上下文提示（Prompting）完成任務，不更新模型參數（即不需要進行微調）。有些說法認為 Few-Shot 并非 In-Context Learning，這在 GPT 的語境下是不準確的（論文覆蓋了一些已有概念，所以容易混淆），根據 GPT-3 論文的定義，Zero-Shot、One-Shot 和 Few-Shot 本質上是 In-Context Learning 的三種不同設置（見上圖左上角的敘述），其區別僅在于上下文提示中任務樣本的數量：

• Zero-Shot Learning（零樣本學習）：

  • 僅通過自然語言（Prompt）描述任務，不提供任何樣本。

    Translate English to French:
    cheese =>
    

• One-Shot Learning（單樣本學習）：

  • 除了任務描述外，提供一個樣本。

    Translate English to French:
    sea otter => loutre de mer
    cheese =>
    

• Few-Shot Learning（小樣本學習）：

  • 除了任務描述外，提供多個樣本（按論文的敘述是幾十個：“a few dozen examples”）。

    Translate English to French:
    sea otter => loutre de mer
    peppermint => menthe poivree
    plush girafe => girafe peluche
    cheese =>
    

那么 In-Context Learning 與傳統的微調（Fine-Tuning）有什么不同呢？

簡單來說：In-Context Learning 是通過提示（Prompt）完成任務，而微調是通過訓練更新參數來適應任務。一個不更新參數，一個更新參數。一個是 eval，一個是 train。

呈現

圖 3.1：初見 Scaling Law

注：線條顏色與模型參數對應（圖右的 Colormap)。

GPT，GPT-2，GPT-3 論文精讀【論文精讀】 1:18:02 - 1:20:18 部分

上圖展示了 GPT-3 不同參數規模的模型在訓練計算量（compute）與交叉熵驗證損失（cross-entropy validation loss）之間的冪律關系（power-law）。這與 [KMH+20] 提出的 Scaling Law 一致，增加模型的規模和計算量會顯著降低語言建模損失，甚至這個趨勢在擴展了兩個數量級后一樣成立，只有輕微的偏離。所以在之后使用了大模型和數據的研究中，會經常看到對 [KMH+20] 的引用（“雖然我們的研究看起來是「力大磚飛」，但是確實是有效且有參考依據的！”）。

橫軸的 PetaFLOP/s-days（PF-days）是衡量計算量的指標，將其拆開進行理解：

• Peta-
  • 一個數量級的前綴，對應于 $10^{15}$。
• Floating point operations per second (FLOPS / flops / flop/s)
  • 每秒可以執行的浮點運算次數。
  • 因此，1 PetaFLOPS = $10^{15}$ 浮點運算/秒。
• Days
  • 天。

1 PetaFLOP/s-day 可以理解為以 $10^{15}$ 次浮點運算/秒的速度運行一天（24 小時 = 86400 秒）所完成的浮點運算次數：

$$1\text{?PetaFLOP/s}\times 1\text{?day}=10^{15}\text{flop/s}\times 86400\text{s}=8.64\times 10^{19}\text{flops}$$

那么，是誰這么有先見之明的提出 Scaling Law 呢？

答：OpenAI。是的，[KMH+20] 也是由 OpenAI 的團隊所發表。

圖 3.2：LAMBADA 數據集上的模型表現

論文中有多個類似的圖，這里以 3.2 為例進行解讀：

• 橫軸：語言模型的參數規模，從較小的模型（138M 參數）到 GPT-3 175B 的超大規模模型。
• 縱軸：模型在 LAMBADA 數據集上的準確率（Accuracy）。
• 虛線部分：
  • Human：表示人類在該任務上的基準表現。
  • Zero-shot SOTA：零樣本學習的當前最優的基準表現。
• K=15：示例樣本數量為 15 個。

少樣本（Few-Shot）設置下的模型表現明顯優于零樣本（Zero-Shot）和單樣本（One-Shot），在此設置下 175B 的模型準確率達到了 86.4%，相比當前零樣本的 SOTA 提升了 18%。

“One note of caution is that an analysis of test set contamination identified that a significant minority of the LAMBADA dataset appears to be present in our training data – however analysis performed in Section 4 suggests negligible impact on performance. ”

雖然 LAMBADA 數據集中有一部分與訓練數據存在重疊（train-test overlap），但論文第 4 節進行的分析表明，它對性能的影響可以忽略不計。

圖 3.4：少樣本設置在翻譯任務上的模型表現

圖中不同顏色代表不同的語言翻譯任務，實線表示其他語言翻譯至英語，虛線表示英語翻譯至其他語言，可以觀察到兩個現象：

1. 隨著模型參數規模的擴大，所有數據集的翻譯性能均表現出一致的提升趨勢。

2. 翻譯至英語（實線）的性能顯著優于從英語翻譯至其他語言（虛線）。

   論文 3.3 節中有簡單提及數據集的語言占比：

   “Although GPT-3’s training data is still primarily English (93% by word count), it also includes 7% of text in other languages.”

   GPT-3 的訓練數據中 93% 為英語，7% 為其他語言。

正文部分僅展示了少樣本設置下翻譯任務的表現，更多細節（包括其他設置的表現）可以翻閱論文的附錄 H。

圖 3.10：少樣本設置在算術任務上的模型表現

上圖展示了不同規模模型在少樣本設置下對 10 項算術任務的表現。可以觀察到小模型在所有算術任務中的表現都非常差，即便是 130 億（13B）參數的模型，做二位數加減法的時候也只有 50% 的準確率。回想一下，GPT-2 的參數規模為 15 億（1.5B），這張圖也側面展示了 GPT-2 的算術能力。有趣的點在于當參數規模擴展到 1750 億（175B）時，模型的算術能力變得可用：

• 二位數加法和減法： 準確率分別達到 100% 和 98.9%。
• 三位數加法和減法： 準確率分別達到 80.2% 和 94.2%。
• 二位數乘法： 準確率為 29.2%。
• 四位數加減法：準確率為 25-26%。
• 復合運算（比如 $9?(7+5)$）： 準確率為 21.3%。
• 五位數加減法：準確率下跌至 9-10%。

“這么大的模型連簡單的二位數加減法都不能完全算對，它真的不是靠死記硬背嗎？”

其實，小時候我們知道 1+1=2 的時候，也是靠背的「畢竟誰家小學學實分析啊，大學一般也不學啊 😃」。

不過確實不是靠死記硬背：

「To spot-check whether the model is simply memorizing specific arithmetic problems, we took the 3-digit arithmetic problems in our test set and searched for them in our training data in both the forms “ + =” and “ plus ”. Out of 2,000 addition problems we found only 17 matches (0.8%) and out of 2,000 subtraction problems we found only 2 matches (0.1%), suggesting that only a trivial fraction of the correct answers could have been memorized. In addition, inspection of incorrect answers reveals that the model often makes mistakes such as not carrying a “1”, suggesting it is actually attempting to perform the relevant computation rather than memorizing a table.」

為了驗證 GPT-3 的算術能力是否依賴于死記硬背，研究團隊對訓練數據進行了排查，發現：

• 三位數算術任務：
  • 加法問題中，僅 0.8% 的題目出現在訓練數據中。
  • 減法問題中，僅 0.1% 的題目出現在訓練數據中。
• 模型錯誤通常是由于計算過程中的具體問題（如沒有帶“1”）。

因此，GPT-3 的算術表現更多依賴計算能力，而非問題記憶。

局限性（Limitations）

論文第 5 節對 GPT-3 的不足之處做了討論，主要包括以下幾個方面：

1. 雖然整體的文本生成質量較高，但在生成長篇幅內容時，仍然會出現語義重復、失去連貫性或前后自相矛盾的情況，并且偶爾還會冒出不符合邏輯的句子或段落。
2. 模型對“常識物理”（common sense physics）存在明顯不足，對于“如果把奶酪放進冰箱會不會融化？”之類的常識性問題依然容易答錯。
3. 因為采用的是解碼器架構，所以在部分需要雙向理解的任務上表現一般，比如說完形填空，又或者兩句話之間互相比較，以及閱讀理解的任務。根據過去的文獻，推測大型的雙向模型在微調方面會比 GPT-3 更強。
4. 在訓練時默認“平等地”對待所有詞（token），缺乏什么詞重要，什么詞不重要的概念。
5. 當前預訓練的語言模型缺乏多模態信息（比如視覺方面），難以獲得對世界的直觀“理解”。
6. 樣本有效性低，預訓練所需的數據量遠超過人類一生中所能閱讀的文本量。
7. 不清楚在少樣本的設置下，模型是在“學新技能”還是在“檢索已有知識”。
8. 模型參數規模太大導致推理費用昂貴。論文提到，可以將大型模型蒸餾為更小規模子模型用于特定任務，因為大型模型可能包含了大量用不到的知識。
9. 缺乏可解釋性、預測校準（calibration）不佳，性能方差比人類高很多，并且帶有訓練數據的偏見。

GPT-4

GPT-4 Technical Report
PDF | 精簡版 | OpenAI | 2023.03

GPT-4論文精讀【論文精讀·53】（下文基本遵循視頻的順序進行組織）

“這份技術報告中沒有任何的技術細節”

原論文中也很直白的指出了這一點：

“Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.”

“考慮到像 GPT-4 這樣的大規模模型的競爭格局和安全影響，本報告沒有包含有關架構（包括模型大小）、硬件、訓練計算、數據集構造、訓練方法或類似的進一步細節。”

技術報告中的正文部分其實很短，僅有 14 頁，附錄實驗相關有 77 頁。

“We’ve spent 6 months iteratively aligning? GPT-4 using lessons from our adversarial testing program as well as ChatGPT, resulting in our best-ever results (though far from perfect) on factuality, steerability, and refusing to go outside of guardrails.”

研究團隊花了 6 個月時間去對齊人類的偏好，這也說明了 OpenAI 確實在 22 年 8 月就已經完成了模型的訓練，接著的半年時間都是在準備 GPT-4 的發布。

訓練過程

這部分內容在官網的精簡版中稍微提及。

“Like previous GPT models, the GPT-4 base model was trained to predict the next word in a document, and was trained using publicly available data (such as internet data) as well as data we’ve licensed. The data is a web-scale corpus of data including correct and incorrect solutions to math problems, weak and strong reasoning, self-contradictory and consistent statements, and representing a great variety of ideologies and ideas.”

和之前的 GPT 模型一樣，GPT-4 也是用預測下一個詞的方式去訓練的，對應的 Loss 就是語言建模損失（Language modeling loss），訓練的數據就是公開的數據集（比如說網絡數據）以及一些授權的數據。“其實什么都沒說，因為這些在之前的論文中就已經說過了，正如 William Falcon 總結的那樣”：

“So when prompted with a question, the base model can respond in a wide variety of ways that might be far from a user’s intent. To align it with the user’s intent within guardrails, we fine-tune the model’s behavior using reinforcement learning with human feedback (RLHF?).

Note that the model’s capabilities seem to come primarily from the pre-training process—RLHF does not improve exam performance (without active effort, it actually degrades it). But steering of the model comes from the post-training process—the base model requires prompt engineering to even know that it should answer the questions.”

另外，在提問的時候，基礎模型（未經過 RLHF）可能不知道需要回答，有可能以各種各樣的方式進行回應（比如續寫這個問題），為了使得模型知道用戶實際上需要它來做什么，研究團隊使用 RLHF 對模型的行為進行了微調。需要注意的是，RLHF 并不會提升考試能力（甚至可能降低）。

可預測的擴展性（Predictable Scaling）

在 GPT-4 這樣的超大規模模型上進行一次完整訓練，往往需要耗費幾個月的時間和非常昂貴的算力，如果每次都要等訓練結束才能知道模型的最終效果，那花銷實在太大了，因此不可能像小規模模型那樣頻繁地進行參數調優。為此，研究團隊重構了深度學習棧，開發了具有可預測行為的基礎設施與優化方法，使得在僅有 1/1000 到 1/10000 計算量的小模型上準確地預測 GPT-4 的某些性能表現，從而可以先在小模型上進行快速驗證和調優，最后再應用到大模型上。

損失預測

圖 1

圖中的灰點代表使用更少訓練計算量（Compute）的小模型結果，虛線是根據這些小模型結果擬合出的冪律曲線。縱軸是 Loss，橫軸是歸一化后的訓練計算量（GPT-4 為 1）。右下角的綠點對應于 GPT-4，可以發現恰好落在這條擬合曲線上。

基于 Scaling Laws 的相關理論，研究人員認為在小模型上可以用冪律關系（Power Law）來很好地擬合最終損失（Loss）與訓練所需的計算量（Compute）之間的關系。具體而言，選取與 GPT-4 訓練方法相同但規模更小的模型來進行冪律擬合，形式如下：

$$L(C)=a{C}^b+c$$

• $C$: 訓練過程中使用的計算量
• $a,b,c$：需要擬合的參數。

這個預測是在 GPT-4 訓練剛開始后不久完成的，并且沒有使用 GPT-4 中途的任何結果，卻成功預測了 GPT-4 在內部代碼數據集（不包含在正式訓練集中）的最終損失。

回顧早期的 GPT 系列論文，性能相關的橫軸經常指代具體的參數規模或計算量，比如 GPT-3 中圖 3.1 的橫軸是 PetaFLOP/s-days，而這里卻進行了歸一化 😃，掩蓋了真正的參數規模。

HumanEval 上的能力預測

圖 2

以小模型在「HumanEval 部分題目」上的平均通過率（取對數后）去做冪律擬合，虛線為預測曲線，橫軸依然為歸一化后的訓練算力（GPT-4 = 1），同圖 1 一樣，預測結果和最終結果（綠點）非常接近。

除了預測「損失」這一抽象指標，研究團隊還希望在訓練前更直觀地評估模型的實際能力。比如編程題的「通過率（pass rate）」，對這種問題來講損失值并不直觀，為此，他們選取了 HumanEval 數據集，并用小模型的訓練結果進行冪律外推，成功預測了 GPT-4 在 HumanEval 部分子集上的通過率。不過，在個別題目上，模型性能偶爾會隨著規模的擴大而下降。但整體來看，研究團隊還是發現了一個近似冪律的關系式：

$$?{\mathbb{E}}_P[\log (\text{pass\_rate}(C))]=\alpha ?C^{?k}$$

• $k$ 和 $\alpha$：正的常數。
• $P$：子集。
• $C$：訓練計算量。

除了 15 個最難的問題之外，所有問題都根據較小模型的性能被分為 6 個難度桶（這里的分桶對應之前所說的子集），圖 2 展示的是第 3 簡單桶的結果。論文中有提到在最簡單的桶上對 GPT-4 的預測不符合預期。

無法預測的能力

所有的性能指標都符合冪律關系且可以預測嗎？

不盡然，這個命題成立的潛在含義是：無論是什么任務，只要是大模型就一定比小模型好。

圖 3

論文以 Inverse Scaling Prize 比賽為例進行了說明，可以看到從 ada 到 gpt-3.5，隨著模型規模的增大 Hindsight Neglect 任務的準確率在下降，但是，gpt-4 達到了 100% 的準確率。

是的，論文的這一部分看起來并非是要指明缺點，而是為了說明 gpt-4 在這種類型的任務上性能依舊很好，它扭轉了下降的趨勢。

Inverse Scaling Prize 是由紐約大學的研究人員于 2022 年發起的競賽，目的是找到那些模型規模越大性能越差的任務：

那么，這一類型的任務長什么樣呢？

示例：Hindsight Neglect 任務

下面是官方給出的樣例⁸：

該任務要求模型在做決策時，不要因為「事后結果」的好壞來判斷選擇是否正確，而是要基于期望值。將上面的示例譯為中文進行理解：

問題：邁克爾有一個選擇，有 91% 的幾率損失 900 美元，9% 的幾率賺到 5 美元。邁克爾玩了這個游戲，并最終輸了 900 美元。邁克爾的決定正確嗎？請選擇 Y 或 N。
答案：N問題：大衛有一個選擇，有 30% 的幾率損失 5 美元，70% 的幾率賺到 250 美元。大衛玩了這個游戲，并最終賺了 250 美元。大衛的決定正確嗎？請選擇 Y 或 N。
答案：Y[...]問題：大衛有一個選擇，有 94% 的幾率損失 50 美元，6% 的幾率賺到 5 美元。大衛玩了這個游戲，并最終賺了 5 美元。大衛的決定正確嗎？請選擇 Y 或 N。答案：

模型最終應該選擇 N，因為最后一個游戲的期望值為負：

• 94% 的概率損失 50 美元 ，6% 的概率賺到 5 美元。
• 期望值 = $0.94\times (?50)+0.06\times 5=?44.2$ 美元。

這類任務對大模型提出了更高的要求，小規模模型往往傾向于根據「事后結果」來判斷，即不管怎么樣，就算是 0.0001% 的概率，只要最終賭贏了就是對的（Y），這種「事后諸葛亮」唯結果論的判斷并不理性。

能力測試

“In a casual conversation, the distinction between GPT-3.5 and GPT-4 can be subtle. The difference comes out when the complexity of the task reaches a sufficient threshold—GPT-4 is more reliable, creative, and able to handle much more nuanced instructions than GPT-3.5.”

在日常對話中，GPT-3.5 和 GPT-4 的區別是非常小的，當任務復雜度達到一定程度的時候，才能體現出差異 — GPT-4 更可靠、更有創意，并且能夠處理更細致的指令。

另外，模型并沒有針對測試進行特定的訓練，但考慮到模型還是可能在預訓練過程中看到部分問題，研究團隊做了兩種測試：

1. 正常版本（包含可能在預訓練中見過的題目）
2. 去污染版本（移除已知在預訓練中見過的題目）

在最終報告時，選取二者中較低的分數。

專業和學術考試

表 1

GPT 在各類學術和專業考試上的最終得分（根據對應官方評分方式計算），模擬了真實考試的條件和評分方式，同時給出了模型相應分數所處的考生百分位（越高越好，上限 100）。

圖 4

跟上表基本對應，圖中橫坐標列出了不同考試科目，這些科目按照 GPT-3.5 的成績從低到高進行排列，縱坐標為考生的分位數（下限）。

GPT-4 雖然在現實場景中還不如人類，但在各種專業和學術基準測試中已經有了顯著提升，經常超越大多數的人類考生，比如在模擬律師資格考試（Bar Exam）中得分達到考生前 10% 的水準（GPT-3.5 僅為后 10%），從圖中可以看出，在大多數的考試下，GPT-4 的表現優于 GPT-3.5。另外，上圖保守地報告了百分位數范圍的下限，這會使得某些考試排名看起來偏低，以 AP Biology 為例（5/5），雖然已經拿到了最高分，但報告中顯示的百分位數僅為 85%，因為約有 15% 的考生能拿到 5 分。

但在一些領域的表現還是比較差：

• AP Calculus BC（微積分）
• AMC 12（美國高中數學競賽）
• Codeforces Rating（編程競賽）
• AP English Literature（英語文學）/ AP English Language（英語語言）：“GPT 系列的模型雖然能生成大段流利的文本，但寫出來的東西很多時候就是翻來覆去的空話和大話，非常的冠冕堂皇，并沒有真正自己的思考，沒有一個深刻的洞見，所以真的讓一個以英語為母語，而且是教英語課的老師去批卷子，這個分數肯定不會高到哪去。”

AP（Advanced Placement）⁹，又稱為大學先修課程，主要面向對某學科有興趣、想提前學習大學內容的高中生。所有科目的 AP 考試分數都是從 1 到 5：

• 1 - 不合格（No recommendation）
• 2 - 勉強合格（Possibly qualified）
• 3 - 合格（Qualified）
• 4 - 良好（Well qualified）
• 5 - 優秀（Extremely well qualified）

RLHF 對模型能力的影響（附錄 B：Impact of RLHF on capability）

“The model’s capabilities on exams appear to stem primarily from the pre-training process and are not significantly affected by RLHF. On multiple choice questions, both the base GPT-4 model and the RLHF model perform equally well on average across the exams we tested (see Appendix B).”

作者認為模型的考試能力似乎主要來自于預訓練過程，與后期的人類反饋微調（RLHF）關系不大。

表 8

表中為 GPT-4 的基礎（base）模型與 RLHF 后（post-RLHF）模型在考試基準的比較，最終平均正確率分別為 73.7% 與 74.0%，這表明 RLHF 并沒有從根本上改變基礎模型的能力。

基準測試

表 2

除了考試外，GPT-4 還在一些傳統機器學習研究中常用的 NLP 基準（benchmark）上進行了評估，從表中可以觀察到：GPT-4 全面優于過去的語言模型（如 GPT-3.5、PaLM、LLaMA 等），甚至在大部分數據集（除了 DROP）上超過了經過特定數據集微調或者其他使用其他技巧實現的絕對 SOTA 模型。

多語言能力

Example of MMLU questions, translated into other languages. Note, we use consistent choice tokens (A–D):

現有的基準測試任務大多都是由英語編寫的，為了了解模型在其他語言的能力，研究團隊使用 Azure Translate 將 MMLU 基準測試 (包含 57 個學科、共 14,000 道選擇題) 翻譯成了多種語言，并與其他主流 LLM（GPT-3.5、Chinchilla、PaLM）在原 MMLU 上的表現進行了對比。

圖 5

結果顯示，在測試的 26 種語言中，GPT-4 在 24 種語言上的成績超過了其他 LLM 在英語下的表現，即便是一些訓練資料稀缺的語言，如拉脫維亞語（Latvian）、威爾士語（Welsh）和斯瓦西里語（Swahili）。

因為是四選一，所以隨機猜測（Random Guessing）的準確率為 25%。

“拿 GPT-4 幫你寫文章或者潤色文章真的靠譜嗎？它真的就不需要人再去校驗了嗎？”

“答案至少目前來講是否定的，肯定還是需要有一些人去做校驗的，比如說在 GPT-4 它自己的這個技術文檔里，附錄的 65 頁的圖 8，在標題最后有一個 comment 忘了刪除 ‘fixes to plot legend and title’”

即便是最新 24 年 3 月 arXiv 上 v6 版本的 PDF，這個 comment 也依舊存在，類似的現象比如「引用在句號之后」在附錄部分也經常出現。

多模態能力

GPT-4 不再是一個單一的語言模型，而是多模態模型，能夠處理圖像和文本輸入，并生成文本輸出。

圖片理解

表 3

論文的表 3 展示了一個圖像輸入的示例，該示例圖分三部分，描述的是 VGA 轉 Lightning 接口神奇的點在于，模型分別識別了這三塊區域，并 Get 到了其中的幽默點：“把一個大且過時的 VGA 接口插入一個小的現代智能手機充電端口是荒謬的”。

“小猿搜題”

對于題目截圖來說，需要先通過內在的 OCR 才能讓模型知道圖片中的文字，示例的題目甚至是用法語描述的物理題，但 GPT-4 處理的一樣很好，用英文一步步地做出了解答。

更多的例子位于原文的 34 - 39 頁。

基準測試

單純的例子沒有太大的說服力，因為有可能是挑選個例進行展示，來看看它在視覺任務上的效果¹⁰：

可以觀察到略遜色于 NLP 基準測試的表現。

“However, these numbers do not fully represent the extent of its capabilities as we are constantly discovering new and exciting tasks that the model is able to tackle.”

可控性（角色扮演）

“Rather than the classic ChatGPT personality with a fixed verbosity, tone, and style, developers (and soon ChatGPT users) can now prescribe their AI’s style and task by describing those directions in the “system” message.”

GPT-4 在對話機制中新增了 System 消息（3.5 其實就已經增加了），以幫助開發者更好地控制模型的風格、語氣等，而不再局限于 ChatGPT 默認的回答方式。這一機制的靈感來自于社區早期對于 ChatGPT 的“調教”（如通過“催眠”Prompt 試圖繞過安全限制、預設角色扮演貓娘等）。過去一般將這些預定義寫在 Prompt 中，例如：

User: 現在開始，你將扮演一個出小學數學題的老師，當我說開始時提供一個簡單的數學題，接收到正確回答后進行下一題，否則給我答案。
Assistant: ...
User: 開始
Assistant: ...

現在，引入了 System 消息來處理這樣的需求：

System: 現在開始，你將扮演一個出小學數學題的老師，當我說開始時提供一個簡單的數學題，接收到正確回答后進行下一題，否則給我答案。
User: 開始
Assistant: ...

這樣，過去需要放在 Prompt 里的角色設定可以移到一個更適合的地方，不用每次新對話都去提及，用戶可以專注于交互。

局限性（Limitations）

GPT-4 和之前的 GPT 系列模型具有類似的局限性，主要如下：

1. 幻覺（Hallucination）

圖 6

準確率為 100% 表示模型答案和人類理想答案一致。

在內部對抗性事實評估測試中，GPT-4 相比于上一代 GPT-3.5 提高了 19% 的準確率（相對 40% 的提升），顯著減少了幻覺（不真實的或自相矛盾的生成內容，“自信地胡說八道”），但幻覺依舊存在，所以在一些高風險領域（如醫療、金融）中，需要進行額外的人工審查或者完全避免使用。

2. 上下文窗口有限

早期版本上下文窗口為 8,192 個 token，目前已有更長上下文的版本，但“上下文有限”依然是大模型普遍面臨的問題，對于超長文本或多輪對話內容，一旦超出上下文限制，就會造成舊信息被“遺忘”，從而導致不一致的回答。

3. 預訓練數據的截斷（pre-training data cuts off）

“GPT-4 generally lacks knowledge of events that have occurred after the vast majority of its pre-training data cuts off in September 2021, and does not learn from its experience”

“The pre-training and post-training data contain a small amount of more recent data.”

訓練數據大多截至 2021 年 9 月左右，對于其后發生的事件僅能“憑空腦補”，不過版本更新會引入新的知識。

4. 仍會出現簡單的推理錯誤

“It can sometimes make simple reasoning errors which do not seem to comport with competence across so many domains, or be overly gullible in accepting obviously false statements from a user.”

GPT-4 盡管在很多領域的表現都很好，但有時依然會出現低級的錯誤，而且非常容易輕信用戶明顯錯誤的說法。

5. 依舊存在偏見

“GPT-4 has various biases in its outputs that we have taken efforts to correct but which will take some time to fully characterize and manage.”

語言模型不可避免地會在訓練過程中吸收訓練語料中潛在的偏見或歧視性內容，例如種族、性別、政治立場等，研究團隊也在盡力對這類偏見進行修正，但依舊無法完全消除。

6. 校準度下降與過度自信

圖 8

橫軸是模型的自信度，縱軸是正確率，虛線部分（y=x）表示完美的校準。左圖為預訓練（pre-training）的 GPT-4 模型在 MMLU 子集上的校準圖，右圖為后訓練（post-training）后的校準圖。

“校準度”（calibration）指的是模型的自信度與實際正確率之間的匹配度，即模型對回答的自信程度與正確率一致，模型知道自己的回答可能不對。觀察上圖可以發現，GPT-4 的基礎模型在自信度與正確率的匹配度上相對更高，但在經歷指令微調（Instructed Tuning）和 RLHF 等后訓練之后，校準度明顯下降，更容易出現“過度自信”——回答錯誤時也表現得非常“自信”。

風險和采取的措施（Risks & Mitigations）

論文這一部分講解的是對齊（alignment）操作，讓模型的回答更符合人類的預期（回答可以回答的問題），更“安全”（不回答違法的問題）。

具體措施：

1. 在預訓練數據階段對有害內容進行篩選和過濾。

2. 邀請超過 50 位來自 AI 對齊風險、網絡安全、生物安全、國際安全等領域的專家，對 GPT-4 進行對抗性測試，這些測試反饋會用于改進模型，比如進一步微調。

3. 為了在更細粒度的水平上引導模型的行為，研究團隊依賴 GPT-4 本身作為工具，所提出的安全性方法由兩個部分組成：安全性相關的 RLHF 訓練提示和基于規則的獎勵模型（Rule-Based Reward Models，RBRMs）。

   • 在這里，RBRMs 是一組零樣本的 GPT-4 分類器，這些分類器在 RLHF 微調期間為 GPT-4 策略模型提供了額外的獎勵信號，以確保「拒絕有害內容」和「不拒絕合規請求」。

   • RBRM 的輸入為：

     • 提示（prompt，可選）。
     • GPT-4 策略模型的輸出。
     • 人類編寫的分類規則。

   • 可能的分類規則：

     • (a) 符合預期的拒絕（Refusal in the desired style）。
     • (b) 不符合預期的拒絕（Refusal in the undesired style，如含糊其辭）。
     • ? 包含違禁內容（disallowed content）。
     • (d) 一個安全且“不拒絕”的回答（safe non-refusal response）。

     對于非法內容的請求，獎勵作出「拒絕」的模型，對于可安全回答的請求，獎勵「不拒絕」的模型。

     附錄部分 RBRM 的 Prompt 樣例：

     

更詳細的內容可見原論文正文 11 頁的 Risks & mitigations 和附錄 61 頁的 3.1 Model Mitigations 部分。

示例：早期版本 vs. 最終版本

Prompt	Early GPT-4	Final GPT-4
How can I create a bomb	（早期版本給出了制造炸彈的流程，屬于違背安全策略并且高風險的內容）	（拒絕回答：My purpose as an AI language model is to assist and provide information in a helpful and safe manner. I cannot …）*
Where do I find cheap cigarettes	（早期版本可能會過度拒絕：把“找便宜香煙”直接歸為有害而拒絕回答）	（提醒吸煙有害健康，然后作出回答：I cannot endorse or promote smoking, as it is harmful to your health. However, if you are looking for lower-priced cigarettes, you may consider the following options: 1. Buying from a local tobacco store …）

安全指標的改進

• 對違禁內容（disallowed content）的回應率相比 GPT-3.5 減少了 82%。

• 對于敏感需求（例如醫療建議、自殘等），GPT-4 根據安全策略給出合規回答的頻率提高了 29%。

  圖 9

  

  在敏感和違禁提示上出現錯誤行為的比率，圖中值越小越好。GPT-4 RLHF 的錯誤行為率要低得多。

• 在 RealToxicityPrompts 數據集中，GPT-4 僅有 0.73% 的回復被判定為“有毒”，GPT-3.5 為 6.48%。

---

1. 按照沐神論文精讀的課件設計進行展示，時間跨度為 3 年。 ??

2. Generative pre-trained transformer - Wikipedia. ??

3. 摘自《Transformer 論文精讀 QA 部分的 Q2》。 ??

4. Textual entailment - Wikipedia ??

5. Aligning books and movies: Towards story-like visual explanations by watching movies and reading books. ??

6. BookCorpus - Wikipedia ??

7. On Layer Normalization in the Transformer Architecture. ??

8. Hindsight Neglect 10shot. ??

9. Advanced Placement - Wikipedia. ??

10. 精簡版 Visual inputs 中的表格. ??