多維特征

變量與術語

列屬性xj	屬性數n	$\vec{x}$(i)行向量	某個值${\vec{x}}_j^i$上行下列
均值μ	標準化	標準差σ	sigma（σ）

公式

$\vec{w}$ = [w₁ w₂ w₃ …]
$\vec{x}$ = [x₁ x₂ x₃ …]

$f_{\vec{w},b}(\vec{x})=\vec{w}?\vec{x}+b=w_1{x}_1+w_2{x}_2+\dots +w_n{x}_n+b$

多元線性回歸

import numpy
f = np.dot(w, x) + b

注：n很大的時候很快(并行處理)

正規方程法

1. 大于1000效率低
2. 不能推廣到其他算法，如邏輯回歸，神經網絡或其他算法。
3. 沒有迭代

$w_n=w_n?\alpha \frac{1}{m}\sum _{i=1}^m{f}_{\vec{w},b}({\vec{x}}^{(i)}?y^{(i)})x_n^{(i)}$

$b=b?\alpha \frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)}?y^{(i)})$

較大范圍的自變量對應權重趨于更小，較小范圍的自變量對應權重趨于更大。

Mean normalization

除以范圍的最大值以求得權重與自變量的[0, 1]

橫坐標：$x_1=\frac{x_1?{\mu }_1}{2000?300}$ 縱坐標：$x_2=\frac{x_2?{\mu }_2}{5?0}$

$?0.18\le x_1\le 0.82$ $?0.46\le x_2\le 0.54$

Z-score normalization

$300\le x_1\le 2000$ $0\le x_2\le 5$

$x1=\frac{x_1?{\mu }_1}{{\sigma }_1}$ $?0.67\le x_1\le 3.1$

通過縮放盡量讓所有特征的取值在差不多范圍，這樣它們的變化對預測值的影響都是接近的 接近(-3,3)

如果成本函數J變大，那么說明步長（學習率）不合適，或代碼有誤

注：迭代次數因機器而異

除了通過繪制曲線判斷迭代到什么地步之外還可以采用自動收斂測試
讓 ε 等于 $10^{?3}$，J的減小幅度小于這個很小的數則視作收斂。

設置合適的學習率

1. 測試時可以設置一個很小的值, 看J是否減小
2. 迭代時學習率不宜過大不宜過小
3. 測試時每次 * 3，選擇盡可能大的學習率，或是比合理值略小的

Feature engineering

通過變換或組合建立特征工程，給予更多選擇

$f_{\vec{w},b}(\vec{x})=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$

注：多項式回歸可以用于線性和非線性擬合