Encoder-Decoder編碼器-解碼器是一種深度學習模型，應用于圖像處理、語音識別、自然語言處理等領域。主要由編碼器和解碼器兩部分組成，這種結構能夠處理序列到序列的任務。
編碼器-解碼器模型具備獨特的雙階段處理，先對輸入信息進行編碼，后根據編碼信息生成輸出
編碼器：接收輸入序列，轉換成固定長度的上下文向量
解碼器：接受上下文向量，轉換成輸出序列
編碼過程通常通過RNN（Recurrent Neural Networks,）、LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit?）等循環結構實現。目標是將輸入信息壓縮為密集向量，這個向量被稱為上下文向量或編碼向量，這能盡量保留輸入序列的全部有意義信息。
解碼過程同樣通過RNN、LSTM或GRU等循環神經網絡結構實現，其初始狀態依據編碼器最終狀態初始化，以此保證信息傳遞。解碼器在每個時間步基于前一時間步的輸出和隱藏狀態，生成當前時間步的輸出，并逐步構造整個輸出序列。為更好處理序列生成中的長期依賴問題，需要引入Attention Mechanism注意力機制，這能使解碼器在生成每個詞時動態關注輸入序列的不同部分，從而提高模型性能和可解釋性。
工作流程
- 輸入編碼：輸入序列通過嵌入層轉化為詞向量序列，然后送入編碼器網絡。編碼器逐個處理這些詞向量，每次處理時更新其隱藏狀態，最終的隱藏狀態作為整個序列的編碼表示。
- 上下文向量生成：RNN結構中編碼器最終隱藏狀態直接作為解碼器初始狀態；引入注意力機制，綜合編碼器所有隱藏狀態形成上下文向量，為每個解碼時間步提供動態的輸入依賴。
- 輸出解碼：解碼器從一個特殊起始符開始，根據編碼信息（上下文向量）生成第一個輸出。隨后利用上一時間步的輸出和隱藏狀態及可能的注意力權重，逐步生成后續的序列元素，直到生成結束符或達到預設的最大序列長度。
- 訓練與評估：常采用最大似然估計，計算最小化預測序列與真實序列之間的交叉熵損失。
為解決訓練過程中序列長度不一的問題，常采用Teacher Forcing方法：訓練時解碼器的每個時間步輸入直接使用真實標簽，而非使用模型上一時間步的預測輸出。
應用場景?
- 機器翻譯任務中，作為序列轉換模型的核心問題， 其輸入和輸出都是長度可變的序列。 為了處理這種類型的輸入和輸出，便需要設計一個包含兩個主要組件的架構： 第一個組件是一個編碼器encoder： 它接受一個長度可變的序列作為輸入， 并將其轉換為具有固定形狀的編碼狀態。 第二個組件是解碼器decode： 它將固定形狀的編碼狀態映射到長度可變的序列。?
- 圖像處理任務中，在編碼器-解碼器的前半部分，輸入圖像被縮小到使用幾層卷積神經網絡（CNN）和池化層的特征圖。在后半部分，特征圖被上采樣到輸入圖像大小以產生二進制掩碼。這種處理體現了編碼器-解碼器模型結合ResNet和U-Net的跳過連接概念進行的創新。
