?

?

Transformer和Informer都是深度學習領域中的模型架構，它們主要用于處理序列數據，如自然語言處理（NLP）和時間序列預測任務。

?

**Transformer**：

Transformer模型最初在2017年由Google的研究者提出，它在NLP領域取得了革命性的進展。Transformer模型的核心是自注意力（Self-Attention）機制，它能夠同時考慮序列中所有單詞之間的關系，而不是像傳統的循環神經網絡（RNN）那樣順序處理。這使得Transformer在處理長距離依賴問題上具有優勢。Transformer包括以下主要組件：

?

1. 自注意力機制（Self-Attention）：用于計算序列中各個元素之間的關聯程度。

2. 多頭注意力（Multi-Head Attention）：將自注意力分成多個頭，以捕捉不同子空間的信息。

3. 位置編碼（Positional Encoding）：用于保留序列中元素的位置信息。

4. 編碼器-解碼器架構：編碼器用于處理輸入序列，解碼器用于生成輸出序列。

?

**Informer**：

Informer是Transformer的一個變種，專門針對長序列時間序列預測任務設計。Informer模型在2020年被提出，它在Transformer的基礎上進行了以下改進：

?

1. ProbSparse Self-Attention：一種改進的自注意力機制，可以顯著減少計算復雜度，使其適用于長序列。

2. 自適應編碼器（Adaptive Encoder）：通過動態選擇重要的特征來減少模型的冗余，提高預測效率。

3. 生成式解碼器（Generative Decoder）：用于預測未來值，采用了一種稱為“概率蒸餾”的技術，以減少預測誤差。

?

總的來說，Informer可以看作是Transformer在處理長序列時間序列預測任務時的一個優化版本，它解決了Transformer在處理極長序列時遇到的計算復雜度和內存消耗問題。Informer在許多時間序列預測任務中表現出色，尤其是在處理長序列數據時。