Transformer結構中的子層連接（Sublayer Connection）

一、子層連接介紹

• 概念

          子層連接（Sublayer Connection），也稱為殘差連接（Residual Connection），是Transformer模型中的一個關鍵設計，用于將多個子層（如自注意力層和前饋全連接層）組合在一起。它通過殘差連接（Residual Connection）和層歸一化（Layer Normalization）來增強模型的訓練穩定性和性能。

          如下圖所示，輸入到每個子層以及規范化層的過程中，還使用了殘差連接（跳躍連接），因此我們把這一部分結構整體叫做子層連接（代表子層及其連接結構），在每個編碼器層中都有兩個子層，這兩個子層加上周圍的連接結構就形成了兩個子層連接結構。