Transformer背景介紹
- 1 Transformer的誕生
- 2 Transformer的優勢
- 3 Transformer的市場
- 4 Transformer架構
- 4.1 Transformer模型的作用
- 4.2 Transformer總體架構圖
- 4.2.1 輸入部分
- 4.2.2 輸出部分包含
- 4.2.3 編碼器部分
- 4.2.4 解碼器部分
1 Transformer的誕生
2018年10月，Google發出一篇論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型橫空出世, 并橫掃NLP領域11項任務的最佳成績!
論文地址: https://arxiv.org/pdf/1810.04805.pdf
而在BERT中發揮重要作用的結構就是Transformer, 之后又相繼出現X
【獨一無二】)
 集合)