Transformer論文復現：3.解碼器部分（解碼器層）和4.輸出部分（線性層、softmax層）
- 3.1 解碼器介紹
- 3.2 解碼器層
- 3.2.1 解碼器層的作用
- 3.2.2 解碼器層的代碼實現
- 3.2.3 解碼器層總結?
- 3.3 解碼器
- 3.3.1 解碼器的作用
- 3.3.2 解碼器的代碼實現
- 3.3.3 解碼器總結
- 4.1 輸出部分介紹
- 4.2 線性層和softmax層的作用
- 4.3 線性層和softmax層的代碼實現
3.1 解碼器介紹
解碼器部分:
- 由N個解碼器層堆疊而成
- 每個解碼器層由三個子層連接結構組成
- 第一個子層連接結構包括一個多頭自注意力子層和規范化層以及一個殘差連接
- 第二個子層連接結構包括一個多頭注意力子層和規范化層以及一個殘差連接
- 第三個子層連接結構包括一個前饋全連接子層和規范化層以及一個殘差連接
