?1. 定義與核心思想?
邏輯回歸(Logistic Regression)是一種用于?二分類問題?的統計學習方法,通過?sigmoid函數?將線性回歸的輸出映射到[0,1]區間,表示樣本屬于某一類別的概率?。
-
?本質?:廣義線性模型,適用于因變量為二分類(如“是/否”、“成功/失敗”)的場景?。
-
?核心公式?:
?
? ? ? ? ? 其中為線性組合,
為模型參數?
- ?
:在特征XX條件下,樣本屬于類別1的概率。
- ?sigmoid函數?(
):將線性組合
壓縮到(0,1)之間,提供非線性概率轉換。
:線性組合,由特征加權和加截距項組成。
- ?
??:截距項(偏置),調整決策邊界的偏移。
?:特征系數,反映每個特征對結果的影響方向和大小。
- ?
??:輸入特征變量。
2. Sigmoid函數的作用?
- ?功能?:將線性輸出?
?轉換為概率值,公式為:
??
- ?特性?:
- 輸出范圍(0,1),適合表示概率?;
- 當?
?時,
,即分類閾值?
?3. 模型參數估計?
- ?最大似然估計(MLE)?:通過最大化觀測數據的聯合概率求解參數?。
- ?對數似然函數?:
?
? ? ? ? 其中?.?
- 損失函數(交叉熵)?:?
?
????????通過梯度下降法最小化損失?
?4. 決策邊界與系數解釋?
- ?決策邊界?:線性超平面?
,即?
。
- ?系數意義?:
表示特征?
??每增加1單位,?勝率(Odds)?的倍數變化?。
- 例如,
?時,
,即?
??增加1單位,勝率提高至2.23倍?
?5. 計算示例?
?問題?:預測學生是否通過考試,特征為學習時間(小時)和出勤率(比例),模型已訓練,參數為:
?學生數據?:學習時間小時,出勤率
,計算通過考試的概率。?
?步驟?:
- ?計算線性組合
:
- ?應用sigmoid函數?:
????????????????
????????預測結果?:概率為85.2%,超過閾值0.5,預測為?通過考試?。