1. 引言
在深度學習領域，激活函數是神經網絡中至關重要的組成部分
它決定了神經元是否應該被激活以及如何將輸入信號轉換為輸出信號
激活函數為神經網絡引入了非線性因素，使其能夠學習并執行復雜的任務
沒有激活函數，無論神經網絡有多少層，都只能表示線性變換，極大地限制了網絡的表達能力
本文將深入探討三種最常用的激活函數：ReLU（Rectified Linear Unit）、Sigmoid和Tanh（雙曲正切函數），從數學定義、特性、優缺點到實際應用場景進行全面比較。
2. 激活函數概述
2.1 激活函數的作用
激活函數在神經網絡中扮演著多重重要角色：
-
引入非線性：使神經網絡能夠學習和表示復雜的數據模式
-
決定神經元輸出：基于輸入決定神經元是否應該被激活（輸出非零值）
