一、支持向量機

• 支持向量機只能做二分類任務

• SVM全稱支持向量機，即尋找到一個超平面使樣本分成兩類，且間隔最大

• 硬間隔：如果樣本線性可分，在所有樣本分類都正確的情況下，尋找最大間隔；如果出現異常值或樣本線性不可分，此時硬間隔無法實現

• 軟間隔：允許部分樣本，在最大間隔之內，甚至在錯誤的一邊，尋找最大間隔；目標是盡可能保持間隔寬闊和限制間隔違例之間尋找良好的平衡

• 懲罰系數：通過懲罰系數來控制這個平衡，C值越小，則間隔越寬，分錯的樣本個數也就越多；反之，C值越大，則間隔越窄，分錯的樣本個數越少

二、LinearSVC_API

class sklearn.svm LinearSVC(C = 1.0)

• 示例

from plot_util import plot_decision_boundary_svc, plot_decision_boundary
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
from sklearn.svm import LinearSVCX, y = load_iris(return_X_y= True)x = X[y < 2, :2]
y = y[y < 2]plt.scatter(x[y == 0, 0], x[y == 0, 1], c = 'r')
plt.scatter(x[y == 1, 0], x[y == 1, 1], c = 'b')
plt.show()# 特征處理
transform = StandardScaler()
x_tran = transform.fit_transform(x)# 模型訓練
model = LinearSVC(C = 30)
model.fit(x_tran, y)
y_pre = model.predict(x_tran)
print(accuracy_score(y, y_pre))# 可視化處理
plot_decision_boundary_svc(model, axis = [-3, 3, -3, 3])
plt.scatter(x_tran[y == 0, 0], x_tran[y == 0, 1], c = 'r')
plt.scatter(x_tran[y == 1, 0], x_tran[y == 1, 1], c = 'b')
plt.show()# 模型訓練
model = LinearSVC(C = 0.01)
model.fit(x_tran, y)
y_pre = model.predict(x_tran)
print(accuracy_score(y, y_pre))# 可視化處理
plot_decision_boundary_svc(model, axis = [-3, 3, -3, 3])
plt.scatter(x_tran[y == 0, 0], x_tran[y == 0, 1], c = 'r')
plt.scatter(x_tran[y == 1, 0], x_tran[y == 1, 1], c = 'b')
plt.show()

三、SVM算法原理

要去求一組參數（w, b），使其構建的超平面函數能夠最優地分離兩個集合

樣本空間中任一點x到超平面（w, b）的距離可寫成：$r=\frac{w^{T}x+b}{||w||}$，想要找到具有最大間隔的劃分超平面，也就是要找到能滿足下式中約束的參數w和b，使得間隔$\gamma$最大

? $\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b?+1,& y_i=+1;\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b??1,& y_i=?1.\end{array}$

距離超平面最近的幾個訓練樣本點使上式等號成立，他們被稱為“支持向量”，兩個異類支持向量到超平面的距離之和為（最大間隔距離表示）：$\frac{2}{||w||}$

• 訓練樣本：$\{\begin{array}{ll}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b?+1,& y_i=+1;\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b??1,& y_i=?1.\end{array}$則目標函數可以寫成：$ma{x}_{w,b}=\frac{2}{||w||}s.t.y_i(w^T{x}_i+b)?1，其中i=1,2,3,\dots ,m$

• 將目標函數進一步優化：$mi{n}_{w,b}=\frac{1}{2}||w|{|}^{2}s.t.y_i(w^T{x}_i+b)?1,其中i=1,2,3,\dots ,m$

• 添加核函數，將目標函數轉化成以下形式：KaTeX parse error: {align*} can be used only in display mode.

• 構建拉格朗日函數：其中${\alpha }_i$為拉格朗日乘子（相當于${\lambda }_i$）:$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2?{\sum }_{i=1}^n{\alpha }_i\left(1?y_i\left({\mathbf{w}}^{\mathrm{T}}?\Phi (x_i)+b\right)?1\right)\dots \dots ①$

• 要想求得極小值，上式后半部分應該取的極大值：$mi{n}_{w,b}ma{x}_{\alpha }L(w,b,\alpha )<==>ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$

• 要找$mi{n}_{w,b}L(w,b,\alpha )$，既要先對$w,b$求導

  • 對$w$求偏導，并令其為0：$L=\frac{1}{2}||w|{|}^2?{\sum }_{i=1}^n{\alpha }_i(y_i{w}^T\phi (x_i)+y_{i}b?1)=\frac{1}{2}||w|{|}^2?{\sum }_{i=1}^n{\alpha }_i{y}_i{w}^T\phi (x_i)+{\alpha }_i{y}_{i}b?{\alpha }_i$

    $\frac{?L}{?w}=w?{\sum }_{i=1}^n{\alpha }_i{y}_i\phi (x_i)=0$

    得到：$w={\sum }_{i=1}^n{\alpha }_i{y}_i\phi (x_i)=0$

  • 對b求偏導，并令其為0：
    $L=\frac{1}{2}||w|{|}^2?{\sum }_{i=1}^n{\alpha }_i{y}_i{w}^T\phi (x_i)+{\alpha }_i{y}_{i}b?{\alpha }_i$

    $\frac{?L}{?b}={\sum }_{i=1}^n{\alpha }_i{y}_i=0$
    得到：${\sum }_{i=1}^n{\alpha }_i{y}_i=0$

• 將上面兩個求導的結果代入①式中，得到：KaTeX parse error: {align*} can be used only in display mode.

四、SVM核函數

• 核函數作用：核函數將原始輸入空間映射到新的特征空間，從而使原本線性不可分的樣本可能在核空間可分
• 核函數分類
  • 線性核：$k(x_i,x_j)=x_i^T{x}_j$
  • 多項式核：$k(x_i,x_j)=(x_i^T{x}_j{)}^d$
  • 高斯核（RBF， 徑向基函數）：$k(x_I,x_j)=epx(?\frac{||x_i?x_j|{|}^2}{2{\sigma }^2})$——產生將樣本投射到無限維空間的運算效果，使得原來不可分的數據變得可分，使用最多
  • 拉普拉斯核：$k(x_i,x_j)=exp(?\frac{||x_i?x_j|{|}^2}{\sigma })$
  • Sigmod核：$k(x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$

1.高斯核

• 公式：$K(x,y)=e^{?\gamma ||x?y|{|}^2}$，其中$\gamma =\frac{1}{2{\sigma }^2}$

  • $\gamma$是超參數，作用與標準差相反，$\gamma$越大（標準差越小），高斯分布越窄，$\gamma$越小，高斯分布越寬

• API（$\gamma$較大，過擬合；$\gamma$較小，欠擬合）

from sklearn.svm import SVC
SVC(kernel = 'rbf', gamma=gamma)