神經網絡中的基本術語

????????????????

以上圖為例，相關的術語描述如下：

• 最左邊的稱為輸?層，其中的神經元稱為輸?神經元；
• 最右邊的，即輸出層包含有輸出神經元；本例中的輸出神經元只有一個；
• 中間層，既然這層中的神經元 既不是輸?也不是輸出，則被稱為隱藏層。

運用上述的術語，我們可以將如下的一個網絡，進行如下描述：

????????????????

術語在實際例子中的運用

輸入層：設計?絡的輸?輸出層通常是?較直接的；

• 假設我們嘗試確定?張?寫數字的圖像上 是否寫的是“9”；
• 很?然地，我們可以將圖?像素的強度進?編碼作為輸?神經元來設計?絡；
• 如果圖像是?個64x64 的灰度圖像，那么我們會需要4096個輸?神經元，每個強度取0和之1間合適的值;

輸出層：輸出層只需要包含?個神經元，當輸出值?于0.5時表?“輸?圖像不是?個9”，?于的值表?“輸?圖像是?個9";

隱藏層：相?于神經?絡中輸?輸出層的直觀設計，隱藏層的設計則堪稱??藝術;

• 特別是，通過? 些簡單的經驗法則來總結隱藏層的設計流程是不可?的;
• 相反，神經?絡的研究?員已經為隱 藏層開發了許多設計最優法則，這有助于?絡的?為能符合?們期望的那樣;
  • 例如，這些法則 可以?于幫助權衡隱藏層數量和訓練?絡所需的時間開銷;

神經網絡的種類

前饋神經網絡

• ?前為?，我們討論的神經?絡，都是以上?層的輸出作為下?層的輸?。這種?絡被稱為 前饋神經?絡；
• 著?絡中是沒有回路的——信息總是向前傳播，從不反向回饋；

遞歸神經網絡

• 有?些??神經?絡的模型，其中反饋環路是可?的；
• 設計思想，是具有休眠前會在?段有限的時間內保持激活狀態的神經元；
  • 這種激活狀態可以刺激其它神經元，使其隨后被激活并同樣保持?段有限的時間。
  • 這樣會導致更多 的神經元被激活，隨著時間的推移，我們得到?個級聯的神經元激活系統；
  • 因為?個神經元的 輸出只在?段時間后?不是即刻影響它的輸?，在這個模型中回路并不會引起問題
• 遞歸神經?絡?前饋?絡影響??得多，部分原因是遞歸?絡的學習算法（?少?前為?） 不夠強?；
• 但是遞歸?絡仍然很有吸引?。它們原理上?前饋?絡更接近我們?腦的實際?作；