Transformer 詳解

Transformer 是 Google 在 2017 年提出的基于自注意力機制的深度學習模型，徹底改變了序列建模的范式，解決了 RNN 和 LSTM 在長距離依賴和并行計算上的局限性。以下是其原理、公式、代碼和應用的詳細解析。

---

一、原理

1. 核心架構
   Transformer 由 編碼器（Encoder） 和 解碼器（Decoder） 組成，各包含多個堆疊的層：

   • 編碼器：處理輸入序列，生成上下文感知的隱藏表示。每層包含 多頭自注意力機制 和 前饋網絡。
   • 解碼器：基于編碼器輸出生成目標序列。額外包含 交叉注意力層，以關注編碼器的輸出。

2. 自注意力機制（Self-Attention）
   通過計算序列中每個元素與其他元素的關聯權重，捕獲全局依賴關系。例如