諸神緘默不語-個人CSDN博文目錄
諸神緘默不語的論文閱讀筆記和分類

論文全名：GPT-4 Technical Report

官方博客：GPT-4 | OpenAI

appendix懶得看了。

1. 模型訓練過程心得

模型結構還是Transformers，訓練目標還是語言模型（預測下一個token），我寫過GPT-1/2/3的博文了直接看之前的博文吧。

增加了后訓練對齊過程/用Reinforcement Learning from Human Feedback (RLHF)微調，提升模型回答的真實性，使其更符合人類偏好。

訓練過程驗證了scaling law，也就是有效的架構和優化方案在小模型上跑過之后，它們在大尺度模型上的效果提升是可預期的，這樣只需在小模型上驗證方案，就可以在大模型上放心去做了。

GPT-4仍然具有如下缺點（這也是現在很多大模型工作在致力于干掉的）：幻覺，上下文長度限制，訓練后就無法更新知識（does not learn from experience），偏見

GPT-4模型可以根據用戶偏好實現一定程度的定制化。

針對風險的解決方案：

1. safety-relevant RLHF training prompts
2. rule-based reward models (RBRMs)：若干GPT-4零樣本分類器，輸入是prompt、模型回復和人工評估的標準，輸出是這個問答對是否安全

更多安全問題可以看System Card。

2. scaling law

1. 損失函數與計算量遵循冪函數，高度可預測
   
2. 指標也是
   
3. 但也有例外：
   

3. 實驗結果

對于數據污染情況，又做了一個把測試集中泄露數據去掉的新數據集，報告兩個測試集上比較差的結果。

考試：

標準LM benchmark：

在用戶偏好方面，相比GPT-3.5，人工標注者對GPT-4的回答打分更高。

GPT-4的跨語言能力：

多模態示例：

遵從事實的能力得到了提升：

上圖任務所用的數據示例：

后訓練（PPO）影響calibration（評估模型對可能性高的答案給出更高的置信度的能力）：

減少風險

找了專家來進行對抗式提問

示例：

改進誤殺的示例：

安全性提升效果：