門控循環單元GRU
接著機器學習-時序預測1-CSDN博客這個說,GRU是LSTM的一個簡化而高效的變體,都使用“門控機制”來控制信息流,但它通過合并一些組件,使結構更簡單、參數更少、計算更快,同時在許多任務上性能與 LSTM 相當甚至更好。
GRU沒有了獨立的細胞狀態,也就是LSTM中的長期記憶,只有一個狀態
,但是通過“門控機制”,讓
同時承擔了長期和短期記憶的功能。而且只剩下了兩個核心門控:
更新門:
,用sigmoid激活函數輸出0-1的向量,
中每個元素表示多少信息來自
,多少信息來自
;
重置門:
,用sigmoid激活函數輸出0-1的向量,
中每個元素表示計算
時考慮多少
;
候選隱藏狀態:
,用到了重置門;
更新最終隱藏狀態:
,用到了更新門,更新門決定了更相信過去還是現在。
同樣的,還需要在輸出層中對輸出進行更新,就像機器學習-時序預測1-CSDN博客。