決策方程符合感知機區分理論,我們基于線性代數來看這滿足子空間理論,可以獲取得到超平面。
支持向量機的目標是尋找最與超平面最近的點的最大距離,而距離計算如上,符合數學上計算點到線(面)的距離公式。
將距離描述為最優化問題,是典型的maxmin問題,尋找與決策超平面最近的點,并將該點的距離最大化。
將約束條件強行約束大于0,變為大于1,從而簡化目標函數。這變成一個條件極值問題。
基于拉格朗日乘子發可用于求解,將w和b尋找與a的關系,代入求解
該公式只留下a項了
繼續轉化問題,現在是對a求極值,將求解極大值問題加負號轉化為求極小值問題,將特征點代入方程即可求出a,并最終反推回W,B
為了防止噪聲對模型影響,引入松弛因子做正則化
非線性核的目的是基于線性代數投影的理論,將數據投影至其他空間,將當前空間中線性不可分的問題轉化為其他空間線性可分問題