chatGPT（chat generative pre-train transformer， 可以對話的預訓練trasformer模型），討論點：
1、chatGPT為什么突然火了
2、GPT 1.0、2.0、3.0、3.5 、4和4o區別和特性，在不同應用場景中如何選對模型
3、未來大模型可能演進方向

1、chatGPT為什么突然火了

科技發展

1、硬件算力提高英偉達的A100GPU(10/2020)

2、設計專門用戶AI訓練的處理器，如谷歌TPUs，從2016年的第一代到2024年的最新的第六代

3、各種優秀NLP、CV模型涌現，例如基于谷歌Trasformer（2017）的BERT和GPT的NLP處理模型。transformer兩個重要創新點，第一，降低了人工標注訓練數據集成本，為大量無標注數據用于模型訓練提供了可能；第二，將訓練由串行變成并行，縮短了訓練的時間。

高質量數據的增加

1、各種數字設備和IoTs設備在增加，結構化的數據量在成指數級增加，谷歌預計到2035年，數據中心數據量將達到175ZB（175ZB = 1 百萬TB）

2、更好的數據收集方法和清理數據方法，根據麥肯錫2016報告，相比普通公司，基于數據驅動的公司獲取用戶數據可能性23倍，保留用戶數據6倍。

3、云計算降低了保存、處理數據的成本，也增加了數據的收集

資本投資和競爭

1、越來越多的公司認識到AI在科技創新、提效上的強大潛力，都加大投資，僅2021年谷歌在AI研究上投資高達900億美元，微軟、亞馬遜等巨頭也進行大量資金投入。使用AI增加個人競爭力-》高ROI-》加大投資，AI研究形成了一個良性的發展。除了企業，各國政府也將AI提升到國家發展戰略層面，作為推動經濟增長的巨量引擎，同時AI 也是空間安全的一個重要影響因素。

2、GPT 1.0、2.0、3.0、3.5 、4和4o區別和特性

GPT-1參數1.2億，2018年

GPT-2翻了10倍，15億，2019年，連貫有邏輯的文本

GPT-3翻了100倍，2020年，1,750億參數，驚人的多樣性和適應性，能夠處理文本生成、翻譯、問答和編程幫助等多種任務，且在很多情況下無需特定任務訓練

GPT-3.5參數基本沒變化，1,750億參數，相比3在模型訓練和優化方面的進步

GPT-4翻了10倍，參數是1.76萬億

GPT-4o(還未公布)，相比gpt4，雖然gpt也能夠進行多模版進行交互，但底層不同模態的模型是彼此分開訓練的，調用的使用也是分開使用的，gpt4o同時使用文本，音頻和圖片進行訓練。

她們都是在谷歌Transformer基礎上開發研究的，不同版本gpt奧秘就出在這個數量上，越過一個門檻之后，突然出現了在門檻之下根本沒有見到的現象和能力。

3、了解下未來大模型可能演進方向

隨著影響AI快速發展各因素的不斷發展，模型的回復質量和效率都會提高，同時多模版的完善，基于多模態發張到一定點之后和相關倫理晚上，AI賦能機器人發展將迎來新的發展高潮。

reference

十分鐘理解ChatGPT的技術邏輯及演進（前世、今生）
Why AI is growing so fast now?