Transformer、RNN 及其變體（LSTM/GRU）是深度學習中處理序列數據的核心模型，但它們的架構設計和應用場景有顯著差異。以下從技術原理、優缺點和適用場景三個維度進行對比分析：

核心架構對比

模型	核心機制	并行計算能力	長序列依賴處理	主要缺點
RNN	循環結構（隱狀態傳遞）	否（時序依賴）	差（梯度消失 / 爆炸）	無法處理長序列
LSTM	門控機制（輸入 / 遺忘 / 輸出門）	否（時序依賴）	中（緩解梯度問題）	計算效率低、長序列仍受限
GRU	簡化門控（更新門 + 重置門）	否（時序依賴）	中（略優于 LSTM）	長序列能力有限
Transformer	自注意力機制（Self-Attention）	是（完全并行）	強（全局依賴建模）	計算復雜度高、缺乏時序建模

技術改進點詳解

1.?RNN → LSTM/GRU：引入門控機制

• 問題：傳統 RNN 在處理長序列時，梯度在反向傳播中指數級衰減或爆炸（如 1.1^100≈13780，0.9^100≈0.003）。
• 改進：
  • LSTM：通過門控單元控制信息的流入、流出和保留，公式如下：

    plaintext

    遺忘門：ft = σ(Wf[ht-1, xt] + bf)  
    輸入門：it = σ(Wi[ht-1, xt] + bi)  
    細胞狀態更新：Ct = ft⊙Ct-1 + it⊙tanh(Wc[ht-1, xt] + bc)  
    輸出門：ot = σ(Wo[ht-1, xt] + bo)  
    隱狀態：ht = ot⊙tanh(Ct)  
    

    
    （其中 σ 為 sigmoid 函數，⊙為逐元素乘法）
  • GRU：將遺忘門和輸入門合并為更新門，減少參數約 30%，計算效率更高。

2.?LSTM/GRU → Transformer：拋棄循環，引入注意力

• 問題：LSTM/GRU 仍需按順序處理序列，無法并行計算，長序列處理效率低。
• 改進：
  • 自注意力機制：直接建模序列中任意兩個位置的依賴關系，無需按時間步逐次計算。

    plaintext

    Attention(Q, K, V) = softmax(QK^T/√d_k)V  
    

    
    （其中 Q、K、V 分別為查詢、鍵、值矩陣，d_k 為鍵向量維度）
  • 多頭注意力（Multi-Head Attention）：通過多個注意力頭捕捉不同子空間的依賴關系。
  • 位置編碼（Positional Encoding）：手動注入位置信息，彌補缺少序列順序的問題。

關鍵優勢對比

模型	長序列處理	并行計算	參數效率	語義理解能力
RNN	?	?	低	弱
LSTM/GRU	?（有限）	?	中	中
Transformer	???	???	高	強

典型應用場景

1. RNN/LSTM/GRU 適用場景：

   • 實時序列預測（如股票價格、語音識別）：需按順序處理輸入。
   • 長序列長度有限（如短文本分類）：LSTM/GRU 可處理數百步的序列。

2. Transformer 適用場景：

   • 長文本理解（如機器翻譯、摘要生成）：能捕捉遠距離依賴。
   • 并行計算需求（如大規模訓練）：自注意力機制支持全并行。
   • 多模態任務（如視覺問答、圖文生成）：通過注意力融合不同模態信息。

代碼實現對比（PyTorch）

1.?LSTM 實現

python

import torch
import torch.nn as nnclass LSTMModel(nn.Module):def __init__(self, input_size, hidden_size, num_layers, output_size):super().__init__()self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True, bidirectional=True)self.fc = nn.Linear(hidden_size * 2, output_size)  # 雙向LSTMdef forward(self, x):# x shape: [batch_size, seq_len, input_size]out, _ = self.lstm(x)  # out shape: [batch_size, seq_len, hidden_size*2]out = self.fc(out[:, -1, :])  # 取最后時間步的輸出return out

2.?Transformer 實現（簡化版）

python

class TransformerModel(nn.Module):def __init__(self, input_dim, d_model, nhead, num_layers, output_dim):super().__init__()self.embedding = nn.Linear(input_dim, d_model)self.pos_encoder = PositionalEncoding(d_model)  # 位置編碼self.transformer_encoder = nn.TransformerEncoder(nn.TransformerEncoderLayer(d_model, nhead),num_layers)self.fc = nn.Linear(d_model, output_dim)def forward(self, x):# x shape: [seq_len, batch_size, input_dim]x = self.embedding(x) * math.sqrt(self.d_model)x = self.pos_encoder(x)x = self.transformer_encoder(x)x = self.fc(x[-1, :, :])  # 取最后時間步的輸出return xclass PositionalEncoding(nn.Module):def __init__(self, d_model, max_len=5000):super().__init__()pe = torch.zeros(max_len, d_model)position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))pe[:, 0::2] = torch.sin(position * div_term)pe[:, 1::2] = torch.cos(position * div_term)self.register_buffer('pe', pe)def forward(self, x):# x shape: [seq_len, batch_size, embedding_dim]return x + self.pe[:x.size(0), :]

總結與選擇建議

1. 選擇 Transformer 的場景：

   • 任務需要捕捉長距離依賴（如機器翻譯、長文本摘要）。
   • 計算資源充足，可支持大規模并行訓練。
   • 序列長度極長（如超過 1000 步）。

2. 選擇 LSTM/GRU 的場景：

   • 序列需按時間步實時處理（如語音流、實時預測）。
   • 數據量較小，Transformer 可能過擬合。
   • 內存受限，無法支持 Transformer 的高計算復雜度。

3. 混合架構：

   • CNN+Transformer：用 CNN 提取局部特征，Transformer 建模全局依賴（如 BERT 中的 Token Embedding）。
   • RNN+Transformer：RNN 處理時序動態，Transformer 處理長距離關系（如視頻理解任務）。