支持向量機（SVM）是一種強大的監督學習算法，廣泛應用于分類和回歸任務。本文詳細探討了SVM的理論基礎，包括最大間隔分離超平面、軟間隔和核技巧（Kernel Trick）的數學原理，并通過LaTeX公式推導其優化目標。接著，我們用C++實現了一個簡單的線性SVM，包括梯度下降優化求解支持向量，并附帶詳細的中文注釋。此外，文章介紹了核函數（如RBF核）的應用，以及如何通過軟間隔處理非線性可分數據。實驗部分對比了線性SVM與核SVM在不同數據集上的性能，分析了參數（如正則化系數C和核參數γ）對模型的影響。最后，我們討論了SVM的優缺點及其在實際應用中的改進方向（如SMO算法）。本文適合對機器學習和C++編程感興趣的讀者，幫助他們理解SVM的理論與實踐，掌握其實現細節。

---

正文

1. 引言

支持向量機（Support Vector Machine, SVM）是機器學習領域中一種經典的監督學習算法，特別適用于分類問題。其核心思想是通過尋找一個最優超平面，將不同類別的樣本最大化間隔，從而實現分類。SVM不僅適用于線性可分數據，還通過核技巧（Kernel Trick）處理非線性數據，使其在圖像識別、自然語言處理等領域表現出色。

本文將從SVM的理論基礎入手，推導其數學模型，展示C++實現，并探討優化策略和性能分析。目標是幫助讀者理解SVM的內在機制，并掌握其編程實踐。

2. 支持向量機的理論基礎

2.1 基本思想

SVM的目標是找到一個超平面 (w^T x + b = 0)，使得不同類別的樣本點到超平面的距離（間隔）最大化。對于線性可分數據，間隔定義為兩類支持向量之間的距離，記為 (2/||w||)，其中 (w) 是超平面的法向量，(||w||) 是其范數。

2.2 硬間隔優化問題

對于線性可分數據，SVM的優化目標是最大化間隔，同時滿足分類約束。數學表達為：

• 約束條件，滿足：
  $$y_i(w^T{x}_i+b)\ge 1,?i$$

• 目標函數：最大化間隔$$2/||w||$$，等價于最小化$$||w|{|}^2/2$$：
  $$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$

這是一對約束優化問題，可通過拉格朗日乘子法轉化為對偶問題。

2.3 軟間隔與正則化

實際數據通常不可完全線性分離，因此引入軟間隔（Soft Margin），允許部分誤分類點。引入松弛變量 ξ i ≥ 0 \xi_i \geq 0 ξ