一、什么是激活函數：

• 激活函數是神經網絡中的一種函數，它在神經元中起到了非線性映射的作用。
• 在神經網絡的每個神經元中，都會通過激活函數將輸入信號進行處理，然后輸出給下一層神經元。
• 通俗解釋：邏輯回歸模型中的Sigmoid函數就是邏輯回歸模型的激活函數，通過將輸入特征向量x映射到Sigmoid函數的輸入z上，將輸出g映射到[0,1]范圍內，實現了最終目標：預測結果輸出二分類0/1。

二、如何選擇激活函數：

每個神經元都可以選擇各自的激活函數。

1.Sigmoid激活函數：

• 當某個神經元所解決的是二分類問題（二分類問題，結果只有兩個） 時，建議選擇Sigmoid激活函數。
• 這時該神經元就是一個普通的邏輯回歸模型。
  

2.線性激活函數：

• 當某個神經元解決的是回歸問題（回歸問題，結果有無限個），且輸出可正可負 時，建議使用線性激活函數。
• 這時該神經元就是一個普通的線性回歸模型。
  

3.ReLU激活函數：

• 當某個神經元解決的是回歸問題（回歸問題，結果有無限個），且輸出只能是正數 時，建議使用ReLU激活函數。
• 這時該神經元就是一個預測結果非負的線性回歸模型。