線性回歸解決連續值的回歸預測；而邏輯回歸解決離散值的分類預測；

算法推導

邏輯回歸可以看作是兩部分，以0、1分類問題說明；

• 線性回歸部分

  • 對于一個樣本$x_i$，有n個特征$x_i^{(1)}$、$x_i^{(2)}$…$x_i^{(n)}$，每個特征有對應的權重${\theta }_{(j)}$，則該樣本所有特征的線性加權求和為:$$h_{\theta }(x_i)=\sum _j^n{\theta }_j{x}_i^{(j)}+{\theta }_0{x}_i^{(0)}=>{\theta }^T{x}_i;其中x_i^{(0)}=1$$
    $$\theta 為權重列向量，x_i為第i個樣本的列向量$$

• 邏輯函數部分

  • 回歸擬合的值$h_{\theta }(x_i)$ 是一個連續值，需要轉為$[0,1]$之間的概率；
  • 邏輯函數$$f(x)=\frac{1}{1+e^{?x}}$$ 將$h_{\theta }(x_i)$ 連續值經過該邏輯函數映射到0-1之間

• 由以上兩部分，可以得到邏輯回歸的預測函數：$$y_{pred}(x_i)=\frac{1}{1+e^{?{\theta }^T{x}_i}}$$ 這里的預測值在$0?1$之間，可以表示樣本$x_i$屬于某類別的概率；

• 概率的似然函數$$f=\prod _{i=1}^m{y}_{pred}^{y_{true}}(1?y_{pred}{)}^{(1?y_{true})}$$ 盡量讓屬于某類的概率最大，即極大似然估計求解；兩邊取對數，并乘以-1，得到損失函數：$$L=?\sum _{i=1}^m(y_{true}log(y_{pred})+(1?y_{true})log(1?y_{pred}))$$求該損失函數的最小值。

• 梯度下降法，優化損失函數，得到權重更新公式：$${\theta }_j={\theta }_j?\alpha \sum _{i=1}^m(y_{pred}(x_i)?y_{true}(x_i))x_i^j$$