【1】引言

前序學習進程中，已經對SVM的KKT條件，Slater條件等進行了探究，但這些都是完美情況，數據線性可分。
實際生活中需要處理的數據往往因為各式各樣的原因會不可分，所以必須學會容忍一些小錯誤，完美的很難永恒存在。
為描述這種小錯誤的存在，軟邊界被定義出來。

【2】軟邊界定義

在早期的拉格朗日函數構造中，我們很熟悉函數距離F的定義公式：$$F=\underset{i=1,...,m}{\min }{y}_i(w?x_i+b)$$
這個時候先把最小的函數間隔調整為1，就會有$F\ge 1$
此時最好換一種寫法，把F改為g：$$g=y_i(w?x_i+b)\ge 1$$
但因為有一些淘氣的點存在，所以給上述公式配一個變量項${\xi }_i$，這個時候再把g改為h，有：
$$h=y_i(w?x_i+b)\ge 1?{\xi }_i$$
之前我們已經推算過，幾何距離和最優化幾何距離是不斷變化數學表達式的效果。

幾何距離：$\delta =\frac{F}{||w||}$
最佳幾何距離：通過同比率調整w和b，使得F=1，從而有${\delta }_{max}=\frac{1}{||w||}$，
在此基礎上進而轉化為距離函數$f$：$f=\min \frac{1}{2}||w|{|}^2$

現在匹配帶有變量項$\xi$的情況，改寫上述定義：
幾何距離：${\delta }_{\xi }=\frac{h}{||w||}$
最佳幾何距離：通過同比率調整w和b，使得F=1，變量項這個時候就出現了，從而有${\delta }_{max，{\xi }_i}=\frac{1?{\xi }_i}{||w||}$。
此時的距離函數$f$包括兩部分，第一部分是單純和$||w||$相關，另一部分的影響則來自在$||w||$確認時，${\xi }_i$的存在。為了避免麻煩，定義最優化幾何距離為：
$$f=\min \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$$
這就是SVM的軟邊界公式。
此處的新增項$C{\sum }_{i=1}^n{\xi }_i$是錯誤懲罰項。

定義一個常數C有很多好處：
首先實際上每個$\xi$的大小都不一樣，如果定義$C_i{\xi }_i$會讓公式變得異常復雜，所以C放在求和符號之前，可以簡化公式；
然后C放在求和符號之前，實際上對變量項進行線性化處理，待求解問題的結構變得簡單，在之后構造拉格朗日函數也會變得相對容易。
從更大的層面，我們也更希望從整體的角度控制模型對錯誤的容忍度，所以定義一個常數C可以實現快速調整，非常符合調參數的期待。

【3】總結

初步學習了支持向量機的軟邊界公式。