【1】引言

前序學習進程中，已經了解了拉格朗日乘數法求極值的基本原理，也了解了尋找最佳超平面就是尋找最佳分隔距離。
這篇文章的學習目標是：使用拉格朗日乘數法獲取最佳的分隔距離。

【2】構造拉格朗日函數

目標函數

首先是目標函數f：
$$f=\min \frac{1}{2}{\Vert w\Vert }^2$$
然后是約束函數g：
之前定義了函數距離F：
$$F=\underset{i=\mathrm{1...}m}{\min }{y}_i(w?x_i+b)$$
以及幾何距離δ：
$$\delta =\underset{i=\mathrm{1...}m}{\min }{y}_i(\frac{w}{\Vert w\Vert }?x+\frac{b}{\Vert w\Vert })$$

約束函數

在引出目標函數f的過程中，使用的方法是：等比率調整權重矩陣w
和偏執量b，使得F=1。
所以才會有最佳超平面對應的最大分隔距離δmax：
$${\delta }_{max}=\max \frac{1}{\Vert w\Vert }$$
也是據此才轉化出來的目標函數f。
我們在理解這個轉化的時候可能過于簡略，沒有強調一個細節：

• F=1是對最小的函數距離F調整權重矩陣w和偏置量b獲得， 每個候選超平面都先將最小函數距離調整到1，；
  然后再來對比調整后的權重矩陣w，最小的w對應最大的f。

再強調一遍：
每個超平面的最小函數距離F都先調整為1，然后對比挑出來的所有1對應的權重矩陣w，取最小w對應的超平面為最佳超平面。

為此，將約束函數的定義重新也回到函數距離F的應用上，將F的定義改寫成g：
$$g=y_i(w?x_i+b)\ge 1$$
或者：
$$g=y_i(w?x_i+b)?1\ge 0$$
g就是約束函數。

在此基礎上，構造拉格朗日函數：
$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2?\sum _{i=1}^m{\alpha }_i[y_i(w?x_i+b)?1]$$上式使用了自動求和符號，這是因為拉格朗日函數需要感知每一個約束條件，只有每個約束條件都滿足，才能獲得真正的最優解。
這里的每個約束條件都分配了單獨的因子${\alpha }_i$。

總結

學習了SVM算法中的拉格朗日函數構造方法。