一、支持向量機的核心目標：間隔最大化

支持向量機的核心思想是在兩類數據中找到一個最優分離超平面，使得兩類數據到超平面的“間隔”最大。我們從線性可分情況開始推導（非線性情況可通過核函數擴展）。

步驟1：定義分離超平面

在n維空間中，線性分離超平面的方程為：
$$\mathbf{w}?\mathbf{x}+b=0\text{\hspace{1em}(1)}$$

• $\mathbf{w}=(w_1,w_2,...,w_n{)}^T$ 是超平面的法向量（決定超平面方向）；
• $b$ 是偏置項（決定超平面位置）；
• $\mathbf{x}=(x_1,x_2,...,x_n{)}^T$ 是樣本點的特征向量。

對于二分類問題，假設樣本標簽為 y∈{+1,?1}y \in \{+1, -1\}y∈{+1,?1}（分別代表正、負類），則超平面需滿足：

• 正類樣本：$\mathbf{w}?\mathbf{x}+b>0$（即 $y=+1$）；
• 負類樣本：$\mathbf{w}?\mathbf{x}+b<0$（即 $y=?1$）。

步驟2：定義樣本到超平面的距離（間隔）

為衡量超平面的“分離能力”，需定義樣本到超平面的距離。

• 函數間隔：對于樣本 $({\mathbf{x}}_i,y_i)$，函數間隔為 $y_i(\mathbf{w}?{\mathbf{x}}_i+b)$。

  • 意義：若值為正，說明分類正確（$y_i$ 與 $\mathbf{w}?{\mathbf{x}}_i+b$ 同號）；絕對值越大，分類可信度越高。

• 幾何間隔：函數間隔受 $\mathbf{w}$ 和 $b$ 縮放影響（例如 $\mathbf{w}\to 2\mathbf{w},b\to 2b$ 時超平面不變，但函數間隔翻倍），因此需歸一化：
  $${\gamma }_i=\frac{y_i(\mathbf{w}?{\mathbf{x}}_i+b)}{\Vert \mathbf{w}\Vert }\text{\hspace{1em}(2)}$$
  其中 $\Vert \mathbf{w}\Vert =\sqrt{\mathbf{w}?\mathbf{w}}$ 是 $\mathbf{w}$ 的L2范數，幾何間隔即樣本到超平面的實際歐氏距離。

步驟3：間隔最大化的目標

最優超平面需滿足：所有樣本的幾何間隔中最小的那個（即“最小間隔”）盡可能大。

設數據集的最小幾何間隔為 $\gamma ={\min }_i{\gamma }_i$，目標是最大化 $\gamma$：
$$\underset{\mathbf{w},b}{\max }\gamma \text{s.t.}\frac{y_i(\mathbf{w}?{\mathbf{x}}_i+b)}{\Vert \mathbf{w}\Vert }\ge \gamma (?i)\text{\hspace{1em}(3)}$$

步驟4：簡化目標函數

由于超平面 $(\mathbf{w},b)$ 與 $(k\mathbf{w},kb)$（$k>0$）表示同一平面，可通過縮放將最小函數間隔歸一化為1（即 $y_i(\mathbf{w}?{\mathbf{x}}_i+b)\ge 1$），此時最小幾何間隔 $\gamma =\frac{1}{\Vert \mathbf{w}\Vert }$。

因此，最大化 $\gamma$ 等價于最小化 $\Vert \mathbf{w}\Vert$（或 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$，便于求導），目標函數簡化為：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\text{s.t.}{y}_i(\mathbf{w}?{\mathbf{x}}_i+b)\ge 1(?i)\text{\hspace{1em}(4)}$$

二、通過拉格朗日乘子法求解優化問題

式(4)是帶不等式約束的凸優化問題，可通過拉格朗日乘子法轉化為對偶問題求解。

步驟5：構建拉格朗日函數

引入拉格朗日乘子 ${\alpha }_i\ge 0$（對應每個約束條件），拉格朗日函數為：
$$\mathcal{L}(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2?\sum _{i=1}^N{\alpha }_i\left[y_i(\mathbf{w}?{\mathbf{x}}_i+b)?1\right](5)$$

• 第一項是原目標函數；
• 第二項是約束條件的懲罰項（${\alpha }_i\ge 0$ 確保約束被滿足）。

步驟6：求解對偶問題（KKT條件）

凸優化的對偶問題需滿足KKT（Karush-Kuhn-Tucker）條件，即：

1. 原始可行性：$y_i(\mathbf{w}?{\mathbf{x}}_i+b)\ge 1$；
2. 對偶可行性：${\alpha }_i\ge 0$；
3. 互補松弛：${\alpha }_i\left[y_i(\mathbf{w}?{\mathbf{x}}_i+b)?1\right]=0$（若 ${\alpha }_i>0$，則約束取等號，即 $y_i(\mathbf{w}?{\mathbf{x}}_i+b)=1$）；
4. 梯度為零：${?}_{\mathbf{w}}\mathcal{L}=0$，${?}_b\mathcal{L}=0$。

步驟7：求導化簡（核心推導）

對 $\mathbf{w}$ 和 $b$ 求偏導并令其為0：

• 對 $\mathbf{w}$ 求導：
  $${?}_{\mathbf{w}}\mathcal{L}=\mathbf{w}?\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i=0?\mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i(6)$$
  （$\mathbf{w}$ 可由樣本的線性組合表示，系數為 ${\alpha }_i{y}_i$）

• 對 $b$ 求導：
  $${?}_b\mathcal{L}=?\sum _{i=1}^N{\alpha }_i{y}_i=0?\sum _{i=1}^N{\alpha }_i{y}_i=0(7)$$

步驟8：對偶問題的目標函數

將式(6)代入拉格朗日函數(5)，化簡對偶問題：

1. 展開 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$：
   $$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2=\frac{1}{2}\left(\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i\right)?\left(\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j\right)=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i?{\mathbf{x}}_j)$$

2. 展開懲罰項：
   $$\sum _{i=1}^N{\alpha }_i\left[y_i(\mathbf{w}?{\mathbf{x}}_i+b)?1\right]=\sum _{i=1}^N{\alpha }_i{y}_i(\mathbf{w}?{\mathbf{x}}_i)+\sum _{i=1}^N{\alpha }_i{y}_{i}b?\sum _{i=1}^N{\alpha }_i$$
   由式(6)和(7)，第二項 $\sum {\alpha }_i{y}_{i}b=b?0=0$，第一項：
   $$\sum _{i=1}^N{\alpha }_i{y}_i(\mathbf{w}?{\mathbf{x}}_i)=\sum _{i=1}^N{\alpha }_i{y}_i\left(\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j?{\mathbf{x}}_i\right)=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i?{\mathbf{x}}_j)$$

3. 合并化簡拉格朗日函數：
   $$\mathcal{L}=\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i?{\mathbf{x}}_j)?\left[\sum _{i,j}{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i?{\mathbf{x}}_j)?\sum _i{\alpha }_i\right]$$
   $$=?\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i?{\mathbf{x}}_j)+\sum _i{\alpha }_i$$

因此，對偶問題轉化為最大化以下函數（ subject to 約束 ${\alpha }_i\ge 0$ 和 $\sum {\alpha }_i{y}_i=0$）：
$$\underset{\mathbf{\alpha }}{\max }\left(\sum _{i=1}^N{\alpha }_i?\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i?{\mathbf{x}}_j)\right)\text{\hspace{1em}(8)}$$

步驟9：求解超平面參數

通過對偶問題求出 $\mathbf{\alpha }$ 后，可計算：

• $\mathbf{w}$：由式(6)，$\mathbf{w}=\sum {\alpha }_i{y}_i{\mathbf{x}}_i$；
• $b$：由互補松弛條件，對 ${\alpha }_i>0$ 的樣本（即支持向量），$y_i(\mathbf{w}?{\mathbf{x}}_i+b)=1$，解得：
  $$b=y_i?\mathbf{w}?{\mathbf{x}}_i=y_i?\sum _{j=1}^N{\alpha }_j{y}_j({\mathbf{x}}_j?{\mathbf{x}}_i)\text{\hspace{1em}(9)}$$

步驟10：分類決策函數

對新樣本 $\mathbf{x}$，分類結果由超平面的符號決定：
$$f(\mathbf{x})=\text{sign}(\mathbf{w}?\mathbf{x}+b)=\text{sign}\left(\sum _{i=1}^N{\alpha }_i{y}_i({\mathbf{x}}_i?\mathbf{x})+b\right)(10)$$

三、數學案例：線性可分數據的SVM求解

設二維數據集如下（線性可分）：

• 正類（$y=+1$）：${\mathbf{x}}_1=(3,3{)}^T$，${\mathbf{x}}_2=(4,3{)}^T$；
• 負類（$y=?1$）：${\mathbf{x}}_3=(1,1{)}^T$，${\mathbf{x}}_4=(2,1{)}^T$。

步驟1：直觀分析

最優超平面應位于兩類數據中間，假設支持向量為 ${\mathbf{x}}_1$（正類）和 ${\mathbf{x}}_3$（負類），即 ${\alpha }_1>0,{\alpha }_3>0$，${\alpha }_2={\alpha }_4=0$（非支持向量）。

步驟2：代入對偶問題約束

由 $\sum {\alpha }_i{y}_i=0$：
$${\alpha }_1?1+{\alpha }_3?(?1)=0?{\alpha }_1={\alpha }_3\text{\hspace{1em}(11)}$$

步驟3：計算對偶目標函數

目標函數式(8)簡化為（僅保留 ${\alpha }_1,{\alpha }_3$）：
$$W(\alpha )={\alpha }_1+{\alpha }_3?\frac{1}{2}\left[{\alpha }_1^2(x_1?x_1)+{\alpha }_3^2(x_3?x_3)+2{\alpha }_1{\alpha }_3{y}_1{y}_3(x_1?x_3)\right]$$

代入數據：

• $x_1?x_1=3^2+3^2=18$，$x_3?x_3=1^2+1^2=2$；
• $x_1?x_3=3?1+3?1=6$，$y_1{y}_3=1?(?1)=?1$；
• 由 ${\alpha }_1={\alpha }_3=\alpha$，得：
  $$W(\alpha )=2\alpha ?\frac{1}{2}\left[{\alpha }^2?18+{\alpha }^2?2+2{\alpha }^2?(?1)?6\right]$$
  $$=2\alpha ?\frac{1}{2}\left[20{\alpha }^2?12{\alpha }^2\right]=2\alpha ?4{\alpha }^2$$

步驟4：最大化對偶函數

對 $W(\alpha )$ 求導并令其為0：
$$\frac{dW}{d\alpha }=2?8\alpha =0?\alpha =\frac{1}{4}$$
因此，${\alpha }_1={\alpha }_3=\frac{1}{4}$，${\alpha }_2={\alpha }_4=0$。

步驟5：計算 $\mathbf{w}$ 和 $b$

• $\mathbf{w}={\alpha }_1{y}_1{\mathbf{x}}_1+{\alpha }_3{y}_3{\mathbf{x}}_3=\frac{1}{4}?1?(3,3)+\frac{1}{4}?(?1)?(1,1)=\left(\frac{3?1}{4},\frac{3?1}{4}\right)=(0.5,0.5)$；
• 由支持向量 ${\mathbf{x}}_1$ 求 $b$：$y_1(\mathbf{w}?{\mathbf{x}}_1+b)=1$
  $$1?(0.5?3+0.5?3+b)=1?3+b=1?b=?2$$

步驟6：驗證超平面

超平面方程：$0.5x_1+0.5x_2?2=0$（即 $x_1+x_2=4$）。

• 正類樣本 ${\mathbf{x}}_1$ 到超平面的距離：$\frac{|3+3?4|}{\sqrt{0.5^2+0.5^2}}=\sqrt{2}$；
• 負類樣本 ${\mathbf{x}}_3$ 到超平面的距離：$\frac{|1+1?4|}{\sqrt{0.5^2+0.5^2}}=\sqrt{2}$，滿足間隔最大化。

總結

SVM通過間隔最大化確定最優超平面，利用拉格朗日乘子法將原始問題轉化為對偶問題，最終僅通過支持向量（${\alpha }_i>0$ 的樣本）即可求解超平面參數。這一特性使其在高維空間中仍具高效性，且可通過核函數擴展到非線性分類場景。以下將對支持向量機（SVM）的核心公式原理進行逐步驟詳細推導，并結合數學案例說明，確保每一步的邏輯和計算過程清晰可追溯。