1、支持向量機（ SVM ）是一種比較好的實現了結構風險最小化思想的方法。它的機器學習策略是結構風險最小化原則 為了最小化期望風險，應同時最小化經驗風險和置信范圍）

支持向量機方法的基本思想：

（ 1 ）它是專門針對有限樣本情況的學習機器，實現的是結構風險最小化：在對給定的數據逼近的精度與逼近函數的復雜性之間尋求折衷，以期獲得最好的推廣能力；

（ 2 ）它最終解決的是一個凸二次規劃問題，從理論上說，得到的將是全局最優解，解決了在神經網絡方法中無法避免的局部極值問題；

（ 3 ）它將實際問題通過非線性變換轉換到高維的特征空間，在高維空間中構造線性決策函數來實現原空間中的非線性決策函數，巧妙地解決了維數問題，并保證了有較好的推廣能力，而且算法復雜度與樣本維數無關。

目前， SVM 算法在模式識別、回歸估計、概率密度函數估計等方面都有應用，且算法在效率與精度上已經超過傳統的學習算法或與之不相上下。??

???????對于經驗風險R，可以采用不同的損失函數來描述，如e不敏感函數、Quadratic函數、Huber函數、Laplace函數等。

??????核函數一般有多項式核、高斯徑向基核、指數徑向基核、多隱層感知核、傅立葉級數核、樣條核、 B 樣條核等，雖然一些實驗表明在分類中不同的核函數能夠產生幾乎同樣的結果，但在回歸中，不同的核函數往往對擬合結果有較大的影響

?

?

2、支持向量回歸算法

主要是通過升維后，在高維空間中構造線性決策函數來實現線性回歸，用e不敏感函數時，其基礎主要是 e 不敏感函數和核函數算法。

若將擬合的數學模型表達多維空間的某一曲線，則根據e 不敏感函數所得的結果，就是包括該曲線和訓練點的“ e管道”。在所有樣本點中，只有分布在“管壁”上的那一部分樣本點決定管道的位置。這一部分訓練樣本稱為“支持向量”。為適應訓練樣本集的非線性，傳統的擬合方法通常是在線性方程后面加高階項。此法誠然有效，但由此增加的可調參數未免增加了過擬合的風險。支持向量回歸算法采用核函數解決這一矛盾。用核函數代替線性方程中的線性項可以使原來的線性算法“非線性化”，即能做非線性回歸。與此同時，引進核函數達到了“升維”的目的，而增加的可調參數是過擬合依然能控制。