前面我們談到RNN與LSTM之間的關系，而GRU也是循環神經網絡中的一種模型，那么它與LSTM有什么區別呢？

接下來我來對GRU（Gated Recurrent Unit）模型進行一次深度解析，重點關注其內部結構、參數以及與LSTM的對比。GRU是LSTM的一種流行且高效的變體，由Cho等人在2014年提出，旨在解決與LSTM相同的長期依賴問題，但通過更簡化的結構和更少的參數來實現。

核心思想：簡化LSTM，保持性能

• LSTM的復雜性：?LSTM通過細胞狀態C_t和隱藏狀態h_t，以及三個門（遺忘門、輸入門、輸出門）來管理信息流。雖然有效，但參數較多，計算稍顯復雜。

• GRU的解決方案：?GRU的核心創新在于：

  1. 合并狀態：?取消了獨立的細胞狀態(C_t)，只保留隱藏狀態(h_t)。隱藏狀態h_t同時承擔了LSTM中細胞狀態（承載長期記憶）和隱藏狀態（作為當前輸出）的雙重角色。

  2. 減少門數量：?將LSTM的三個門合并為兩個門：

     • 更新門(z_t)：?融合了LSTM中遺忘門和輸入門的功能。它決定了有多少舊的隱藏狀態信息需要保留，以及有多少新的候選隱藏狀態信息需要加入。

     • 重置門(r_t)：?控制前一個隱藏狀態h_{t-1}對計算新的候選隱藏狀態的影響程度。它決定了在生成候選狀態時，應該“重置”或忽略多少過去的信息。

  3. 簡化計算流程：?合并狀態和門減少了計算步驟和參數數量，通常訓練更快，并且在許多任務上表現與LSTM相當甚至有時更好。

GRU單元的內部結構與計算流程（關鍵！）

想象一個GRU單元在時間步?t?的處理過程。它接收兩個輸入：

1. 當前時間步的輸入：?x_t?(維度?input_dim)

2. 前一時間步的隱藏狀態：?h_{t-1}?(維度?hidden_dim)

它產生一個輸出：

1. 當前時間步的隱藏狀態：?h_t?(維度?hidden_dim)

單元內部的計算涉及以下步驟：

1. 更新門：

   • z_t = σ(W_z · [h_{t-1}, x_t] + b_z)

   • σ?是 Sigmoid 激活函數（輸出 0 到 1）。

   • W_z?是更新門的權重矩陣 (維度?hidden_dim x (hidden_dim + input_dim))。

   • [h_{t-1}, x_t]?表示將?h_{t-1}?和?x_t?拼接成一個向量 (維度?hidden_dim + input_dim)。

   • b_z?是更新門的偏置向量 (維度?hidden_dim)。

   • z_t?的每個元素在 0 到 1 之間，值接近 1 表示傾向于保留更多舊狀態?h_{t-1}，值接近 0 表示傾向于采用更多新候選狀態?h?_t。

2. 重置門：

   • r_t = σ(W_r · [h_{t-1}, x_t] + b_r)

   • W_r?是重置門的權重矩陣 (維度?hidden_dim x (hidden_dim + input_dim))。

   • b_r?是重置門的偏置向量 (維度?hidden_dim)。

   • r_t?的每個元素在 0 到 1 之間，值接近 0 表示“重置”（忽略）前一個隱藏狀態?h_{t-1}，值接近 1 表示“保留”前一個隱藏狀態?h_{t-1}。它主要用于控制h_{t-1}在計算候選狀態時的貢獻。

3. 候選隱藏狀態：

   • h?_t = tanh(W_h · [r_t * h_{t-1}, x_t] + b_h)

   • tanh?激活函數將值壓縮到 -1 到 1 之間。

   • W_h?是候選隱藏狀態的權重矩陣 (維度?hidden_dim x (hidden_dim + input_dim))。

   • b_h?是候選隱藏狀態的偏置向量 (維度?hidden_dim)。

   • [r_t * h_{t-1}, x_t]?表示將?r_t?與?h_{t-1}?逐元素相乘的結果?和?x_t?拼接起來。

     • 這是GRU的關鍵操作之一！r_t * h_{t-1}?表示根據重置門有選擇地“過濾”前一個隱藏狀態的信息。如果?r_t?接近 0，相當于在計算候選狀態時忽略了?h_{t-1}，只基于當前輸入?x_t（和偏置）進行計算；如果?r_t?接近 1，則完整保留?h_{t-1}?的信息用于計算新候選狀態。

   • h?_t?表示基于當前輸入?x_t?和經過重置門篩選后的前一個狀態?r_t * h_{t-1}?計算出的新的、候選的隱藏狀態。

4. 計算當前隱藏狀態：

   • h_t = (1 - z_t) * h?_t + z_t * h_{t-1}

   • *?表示逐元素乘法。

   • 這是GRU的核心操作，也是更新門發揮作用的地方：

     • z_t * h_{t-1}： 表示保留多少舊狀態?h_{t-1}。

     • (1 - z_t) * h?_t： 表示加入多少新候選狀態?h?_t。

     • 新的隱藏狀態?h_t?是舊狀態?h_{t-1}?和候選新狀態?h?_t?的線性插值，由更新門?z_t?控制比例。

     • 如果?z_t?接近 1，則?h_t ≈ h_{t-1}（幾乎完全保留舊狀態，忽略當前輸入）。

     • 如果?z_t?接近 0，則?h_t ≈ h?_t（幾乎完全采用基于當前輸入和重置后狀態計算的新候選狀態）。

可視化表示（簡化）

GRU的內部參數詳解

從上面的計算過程可以看出，一個標準的GRU單元包含以下參數：

1. 權重矩陣 (Weights):?共有 3 組，分別對應更新門、重置門、候選隱藏狀態。

   • W_z: 更新門的權重矩陣 (維度:?hidden_dim x (hidden_dim + input_dim))

   • W_r: 重置門的權重矩陣 (維度:?hidden_dim x (hidden_dim + input_dim))

   • W_h: 候選隱藏狀態的權重矩陣 (維度:?hidden_dim x (hidden_dim + input_dim))

2. 偏置向量 (Biases):?共有 3 組，與權重矩陣一一對應。

   • b_z: 更新門的偏置向量 (維度:?hidden_dim)

   • b_r: 重置門的偏置向量 (維度:?hidden_dim)

   • b_h: 候選隱藏狀態的偏置向量 (維度:?hidden_dim)

重要說明

• 參數共享：?同一個GRU層中的所有時間步?t?共享同一套參數?(W_z,?W_r,?W_h,?b_z,?b_r,?b_h)。這是循環神經網絡的核心特性。

• 參數總量計算：?對于一個GRU層：

  • 總參數量 =?3 * [hidden_dim * (hidden_dim + input_dim) + hidden_dim]

  • 簡化：?3 * (hidden_dim * hidden_dim + hidden_dim * input_dim + hidden_dim) = 3 * (hidden_dim^2 + hidden_dim * input_dim + hidden_dim)

  • 與LSTM對比：?GRU的參數數量是LSTM的?3/4?(75%)。例如：input_dim=100,?hidden_dim=256:

    • LSTM參數量：?4 * (256^2 + 256*100 + 256) = 4 * 91392 = 365, 568

    • GRU參數量：?3 * (256^2 + 256*100 + 256) = 3 * 91392 = 274, 176

    • 減少了?91, 392?個參數 (約25%)。

• 輸入維度：?input_dim?是輸入數據?x_t?的特征維度。

• 隱藏層維度：?hidden_dim?是一個超參數，決定了：

  • 隱藏狀態?h_t、更新門?z_t、重置門?r_t、候選狀態?h?_t?的維度。

  • 模型的容量。更大的?hidden_dim?通常能學習更復雜的模式，但也需要更多計算資源和數據。

• 激活函數：

  • 更新門(z_t)和重置門(r_t)：?使用?Sigmoid?(σ)，輸出0-1，控制信息流比例。

  • 候選隱藏狀態(h?_t)：?使用?tanh，將值規范到-1到1之間，提供非線性變換。

• 關鍵操作解讀：

  • 重置門(r_t)：?作用于計算候選狀態?h?_t?之前。它決定在生成新的候選信息時，應該考慮多少過去的狀態?h_{t-1}。如果模型發現?h_{t-1}?與預測未來無關（例如，遇到句子邊界或主題切換），它可以學習將?r_t?設置為接近0，從而在計算?h?_t?時“重置”或忽略?h_{t-1}，主要依賴當前輸入?x_t。

  • 更新門(z_t)：?作用于生成最終隱藏狀態?h_t?時。它決定了新的?h_t?應該由多少舊狀態?h_{t-1}?和多少新候選狀態?h?_t?組成。這類似于LSTM中遺忘門（保留多少舊細胞狀態）和輸入門（添加多少新候選細胞狀態）的組合功能。一個接近1的?z_t?允許信息在隱藏狀態中長期保留（緩解梯度消失），一個接近0的?z_t?則使隱藏狀態快速更新為新的信息。

GRU如何解決長期依賴問題？

1. 更新門是關鍵：?公式?h_t = (1 - z_t) * h?_t + z_t * h_{t-1}?是核心。這個加法操作 (+)?允許梯度在?h_t?直接流向?h_{t-1}?時相對穩定地流動（類似于LSTM細胞狀態中的加法）。反向傳播時，梯度??h_t / ?h_{t-1}?包含?z_t?項（可能接近1）。只要網絡能夠學習到在需要長期記憶的位置讓?z_t?接近1，梯度就可以幾乎無損地流過許多時間步。

2. 門控機制賦予選擇性：

   • 選擇性重置：?重置門?r_t?允許模型在計算新的候選信息時，有選擇地丟棄與當前計算無關的過去信息。

   • 選擇性更新：?更新門?z_t?允許模型有選擇地將新的相關信息（來自?h?_t）融合進隱藏狀態，同時保留相關的長期信息（來自?h_{t-1}）。

3. 參數效率：?更少的參數意味著模型更容易訓練（尤其是在數據量有限時），收斂可能更快，且計算開銷更低，同時通常能達到與LSTM相當的性能。

GRU vs LSTM：主要區別總結

特性	LSTM	GRU
狀態數量	兩個：細胞狀態?C_t?+ 隱藏狀態?h_t	一個：隱藏狀態?h_t
門數量	三個：遺忘門?f_t， 輸入門?i_t， 輸出門?o_t	兩個：更新門?z_t， 重置門?r_t
核心操作	C_t = f_t * C_{t-1} + i_t * g_t h_t = o_t * tanh(C_t)	h_t = (1 - z_t) * h?_t + z_t * h_{t-1} h?_t = tanh(W·[r_t * h_{t-1}, x_t] + b)
參數數量	4組權重矩陣 + 4組偏置 (≈4h(h+d+h))	3組權重矩陣 + 3組偏置 (≈3h(h+d+h))?(比LSTM少25%)
計算效率	相對較高	相對較低?(更少的參數和計算步驟)
性能	在大多數任務上非常強大，尤其超長序列	在大多數任務上與LSTM性能相當或接近，有時略優或略劣，在中小型數據集上有時表現更好
輸出	h_t?(可能用于預測)	h_t?(直接作為輸出和下一時間步的輸入)

選擇建議：

• 計算資源/時間敏感：?優先考慮GRU（更快，更少參數）。

• 任務性能至上（尤其是超長序列）：?兩種都試試，LSTM有時在極端長序列任務中更魯棒（得益于獨立的細胞狀態），但差異通常不大。

• 數據集較小：?GRU可能更有優勢（更少參數，降低過擬合風險）。

• 實踐：?在很多現代應用中（如Transformer之前的RNN時代），GRU因其效率成為LSTM的有力競爭者。最佳選擇通常需要通過實驗在具體任務和數據集上驗證。

總結

GRU通過合并細胞狀態與隱藏狀態以及將三個門簡化為兩個門（更新門和重置門），創造了一種比LSTM更簡潔高效的循環神經網絡結構。其核心在于：

1. 更新門(z_t)：?控制新隱藏狀態?h_t?由多少舊狀態?h_{t-1}?和多少新候選狀態?h?_t?組成，是維持長期依賴的關鍵。

2. 重置門(r_t)：?控制前一個狀態?h_{t-1}?在計算新候選狀態?h?_t?時的影響程度，實現有選擇的信息重置。

3. 候選狀態(h?_t)：?基于當前輸入?x_t?和經過重置門篩選的前狀態?r_t * h_{t-1}?計算得出的潛在新狀態。

GRU的參數包括三組權重矩陣(W_z,?W_r,?W_h)和對應的偏置向量(b_z,?b_r,?b_h)，其總參數量約為LSTM的75%。這種結構上的簡化使得GRU通常訓練更快、計算開銷更小，并且在廣泛的序列建模任務中展現出與LSTM相當甚至有時更優的性能，成為處理長期依賴問題的一種強大而實用的工具。理解GRU的門控機制和參數作用，對于有效使用和調優模型至關重要。