一、Sigmoid激活函數：

Sigmoid函數是構建邏輯回歸模型的重要激活函數，如下圖所示。

• 二分類問題目標是將模型的輸出結果控制在[0,1]的范圍內，當模型輸出結果＜0.5，默認預測結果為0；當模型輸出結果＞0.5，默認預測結果為1。
• 二分類問題的解決思路是：通過構建邏輯回歸模型f將二分類問題的輸入x映射到Sigmoid函數的輸入z上計算輸出g，再根據g的范圍（是否大于0.5）獲得邏輯回歸模型的結果（即二分類問題的結果）。
• 函數的定義域∈R，值域∈[0,1]，當輸入z＜0時，Sogmoid函數輸出結果g＜0.5,默認為結果是0，構成二分類問題的第一個類別。當輸入z＞0時，Sogmoid函數輸出結果g＞0.5,默認為結果是1，構成二分類問題的第二個類別。

二、邏輯回歸介紹：

邏輯回歸用來解決二分類問題。分類問題即模型的輸出結果只有有限個（回歸問題則是無限個），二分類問題即模型的輸出結果只有兩個。

在回歸問題的經典案例“腫瘤預測案例”中，使用腫瘤尺寸size特征預測該腫瘤是否是惡性腫瘤，輸出結果只有兩種：是（1）或否（0）。

這時使用線性回歸模型就很難擬合訓練集 （線性回歸解決的是回歸問題，而腫瘤預測案例是一個分類問題，準確說是二分類問題），因此提出了邏輯回歸思想。

邏輯回歸模型（解決分類問題）：輸入特征或特征集X并輸出0~1之間的數字，其中擬合曲線通過Sogmoid函數來構造。具體構造流程如下圖：

• 第一行解釋：邏輯回歸模型f的構造同線性回歸，通過輸入特征集X輸出預測結果f，不同點在于f取值范圍∈[0,1]。
• 第二三四行解釋：之前我們介紹了Sigmoid函數的輸出g可以很好的解決二分類問題，因此我們巧妙地使用了Sigmoid函數來構建邏輯回歸模型f解決二分類問題，通過將輸入特征集X使用線性回歸或多項式回歸映射到Sigmoid函數的輸入z，實現Sigmoid函數的輸出，然后根據Sigmoid函數輸出結果是否大于0.5來計算邏輯回歸模型的輸出f（0或1），得到二分類問題的結果。
• 第五行解釋：上述思想整合一下即可得出邏輯回歸模型f，其中模型的輸入是特征集X，輸出是分類的預測結果0或1。
• 第六行解釋：當邏輯回歸模型的輸出結果大于等于0.5時，預測值y^為1，用上文的例子來講就是該腫瘤是惡性腫瘤；當邏輯回歸模型的輸出結果小于等于0.5時，預測值為0，用上文的例子來講就是該腫瘤不是惡性腫瘤。

三、決策邊界

從上文不難得到，當Sigmoid函數的輸入z大于等于0時，即特征集X到z的映射z=wx+b大于等于0時，模型的輸出結果是1；當Sigmoid函數的輸入z小于0時，即特征集X到z的映射z=wx+b小于0時，模型的輸出結果是0。
這是我們可以提出決策邊界的概念：使得模型輸入X到Sigmoid函數輸入z的映射等于0的方程叫做決策邊界。

以上述腫瘤預測模型為例，模型輸入X到Sigmoid函數輸入z的映射為z=wx+b，那么決策邊界就是wx+b=0。

下面讓我們用圖像來展示決策邊界的意義：

• 例1：映射為線性函數
  
  上圖展示了訓練集中特征x1、x2不同取值時標簽的真實值，其中圈代表該樣本分類結果為0，叉代表該樣本分類結果為1。

  邏輯回歸模型如上圖，其中模型輸入X到Sigmoid函數輸入z的映射為z=w1x1+w2x2+b,則決策邊界為w1x1+w2x2+b=0。若模型訓練結果為w1=1,w2=1,b=-3時，決策邊界為x1+x2-3=0,決策邊界的函數圖像如上圖所示，可以看到，如果樣本的特征位于決策邊界左側，邏輯回歸預測時0，反之為1，這就是決策邊界的圖像意義。

• 例2：映射為多項式函數
  
  模型輸入X到Sigmoid函數輸入z的映射為多項式函數,決策邊界如圖，可以看到，模型訓練完成后，參數值確定了，決策邊界也立即就確定了，這時樣本的特征相對決策邊界的位置決定了該樣本的預測結果。

四、邏輯回歸模型訓練過程：

其實和線性回歸訓練過程一樣，只不過是待訓練模型（函數）不同而已。

1.訓練目標：

2.梯度下降調整參數：