Transformer 模型詳解
Transformer 是由 Vaswani et al. 在 2017 年 提出的模型，最初用于 機器翻譯 任務，并迅速成為自然語言處理（NLP）領域的標準模型架構。與傳統的 RNN（循環神經網絡） 和 LSTM（長短期記憶網絡） 不同，Transformer 的核心思想是 完全基于自注意力機制（Self-Attention），去除循環和卷積操作，顯著提高了并行計算效率和長期依賴的建模能力。
1. Transformer 模型架構
Transformer 模型的架構主要由兩個部分組成：
- 編碼器（Encoder）：負責將輸入序列映射為一系列上下文相關的特征向量。
- 解碼器（Decoder）：根據編碼器的輸出生成目標序列。
完整結構
)
