最近研究GPT,深入的從transfomer的原理和代碼看來一下,現在把學習的資料和自己的理解整理一下。
- 這個文章寫的很通俗易懂,把transformer的來龍去脈,還舉例了很多不錯的例子。
Transformer通俗筆記:從Word2Vec、Seq2Seq逐步理解到GPT、BERT_v_JULY_v的博客-CSDN博客
- 有了原理還需要進行代碼實踐,這篇文章從0開始講解了一個簡易的Transformer版本和真實版本的代碼注釋,值得詳細讀一下。
從零實現Transformer的簡易版與強大版:從300多行到3000多行_寫transformer-CSDN博客
- 另外,給大家推薦一下自己動手寫代碼實踐一下,代碼模塊可以丟給文心一言,GPT4,這些寫代碼的能力相當的不錯,甚至運行出了問題,直接把問題輸入給它,還能自己改正。