【1】引用

在前序學習進程中，我們初步了解了SVM軟邊界，今天就更進一步，嘗試構建SVM軟邊界的拉格朗日函數。

【2】基本問題

在SVM軟邊界中，我們已經獲得此時的最優化幾何距離的表達式：
$$f=\min \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$$
其中，
$\frac{1}{2}||w|{|}^2$是距離最大化項；
$C{\sum }_{i=1}^n{\xi }_i$是錯誤懲罰項且要規定$C>0$；
${\xi }_i$是松弛變量，表示樣本$x_i$的違反程度。
此時的約束條件是：
$$距離函數：y_i(w?x_i+b)\ge 1?{\xi }_i$$
$$松弛變量：x_i\ge 0(i=1,2,...,n)$$

【2.1】$C>0$分析

定義懲罰項$C{\sum }_{i=1}^n{\xi }_i$的目的是對脫離或違反間隔約束的樣本進行“懲罰”，非常直觀的，松弛變量${\xi }_i\ge 0$，且這個值越大，樣本違反約束的程度也就越重。
當$C>0$時，${\xi }_i$越大，樣本違反約束的程度越大，整個懲罰項也越大，這與 “違反約束應受到懲罰” 的邏輯一致；
當$C=0$時，${\xi }_i$越大，樣本違反約束的程度越大，但整個懲罰項恒等于0，所有樣本都可能實際違反約束但未被識別，這與 “違反約束應受到懲罰” 的邏輯矛盾；
當$C<0$時，${\xi }_i$越大，樣本違反約束的程度越大，但整個懲罰項反而越小，樣本實際違反約束的程度被低估，會影響SVM分類的正確性；
所以從分類準確性來看，應當保持$C>0$。

【2.2】構造拉格朗日函數

引入拉格朗日乘子${\alpha }_i\ge 0$對應距離函數；
引入拉格朗日乘子${\mu }_i\ge 0$對應松弛變量。
獲得拉格朗日函數為：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i?\sum _{i=1}^n{\alpha }_i[y_i(w?x_i+b)?1+{\xi }_i]?\sum _{i=1}^n{\mu }_i{\xi }_i$$

【3】總結

初步構建了SVM軟邊界條件下的拉格朗日函數。