1. transformer簡介
Transformer模型是一種基于自注意力機制的神經網絡架構，主要用于處理序列數據，如自然語言處理任務。它由Google在2017年提出，并在“Attention is All You Need”這篇論文中首次公開。Transformer模型的核心思想是利用自注意力機制來捕捉序列中的依賴關系，從而實現對序列數據的有效處理。
Transformer模型主要由編碼器和解碼器兩部分組成，每部分都包含多層自注意力機制和前饋神經網絡。編碼器負責將輸入序列轉換為一種內部表示，而解碼器則利用這種內部表示來生成輸出序列。通過堆疊多個編碼器和解碼器層，Transformer模型能夠捕獲更復雜的序列依賴關系。
與傳統的循環神經網絡（RNN）或卷積神經網絡（CNN）相比，Transformer模型具有更強的并行計算能力，因此在處理長序列數據時具有更高的效率。此外，由于Transformer模型完全基于注意力機制，它能夠更好地捕捉序列中的長距離依賴關系，從而在自然語言處理任務中取得更好的性能。
目前，Transformer模型已經成為自然語言處理領域的主流架構之一，被廣泛應用于機器翻譯、文本生成、語音識別等任務中。
2. 靈魂20問
- Transformer為何使用多頭注意力機制？（為什么不使用一個頭）
- Transformer為什么Q和K使用不同的權重矩陣生成，為何不能使用同一個值進行自身的點乘？ （注意和第一個問題的區別）
- Transformer計算attention的時候為何選擇點乘而不是加法？兩者計算復雜度和效果上有什么區別？ <
)