TensorFlow深度學習實戰（14）——循環神經網絡詳解
- 0. 前言
- 1. 基本循環神經網絡單元
- 1.1 循環神經網絡工作原理
- 1.2 時間反向傳播
- 1.3 梯度消失和梯度爆炸問題
- 2. RNN 單元變體
- 2.1 長短期記憶
- 2.2 門控循環單元
- 2.3 Peephole LSTM
- 3. RNN 變體
- 3.1 雙向 RNN
- 3.2 狀態 RNN
- 4. RNN 拓撲結構
- 小結
- 系列鏈接
0. 前言
循環神經網絡 (Recurrent Neural Network, RNN) 是一類特殊的神經網絡結構，廣泛應用于處理和分析序列數據，如文本、語音、時間序列等。與傳統的神經網絡不同，RNN 具有記憶功能，可以通過循環連接處理序列中各個元素之間的依賴關系。
1. 基本循環神經網絡單元
1.1 循環神經網絡工作原理
傳統的多層感知器神經網絡假設所有輸入都彼此獨立，但這種假設對許多類型的序列數據并不成立。例如，句子中的單詞、樂曲中的音符、隨時間變化的股票價格，甚至化合物中的分子，都是一個元素的出現取決于其前面元素的序列。
循環神經網絡 (Recurrent Neural Network, RNN) 單元通過使用隱藏狀態(或記憶)來包含這種依賴關系，該隱藏狀態保存到目前為止所見內容的要點。任意時刻的隱藏狀態值是前一時刻的隱藏狀態值和當前時刻輸入值的函數，即:
)
