1. 訓練
model = libsvmtrain(training_label_vector, training_instance_matrix [, 'libsvm_options']);
這個函數有三個參數，其中
- -training_label_vector:訓練樣本的類標，如果有m個樣本，就是m x 1的矩陣（類型必須為double）。這里可以是二分類和多分類，類標是（-1,1）、（1,2,3）或者其他任意用來表示不同的類別的數字，要轉成double類型。
- -training_instance_matrix:訓練樣本的特征，如果有m個樣本，每個樣本特征是n維，則為m x n的矩陣（類型必須為double）。
- -libsvm_options:訓練的參數，在第3點詳細介紹。
libsvmtrain函數返回訓練好的SVM分類器模型model是一個結構體，包含以下成員：
- -Parameters: 一個5 x 1的矩陣，從上到下依次表示：
-s SVM類型（默認0）；
-t 核函數類型（默認2）
-d 核函數中的degree設置(針對多項式核函數)(默認3)；
-g 核函數中的r(gamma）函數設置(針對多項式/rbf/sigmoid核函數) (默認類別數目的倒數)；
-r 核函數中的coef0設置(針對多項式/sigmoid核函數)((默認0) - -nr_class: 表示數據集中有多少類別，比如二分類時這個值即為2。
- -totalSV: 表示支持向量的總數。
- -rho: 決策函數wx+b中的常數項的相反數（-b）。
- -Label: 表示數據集中類別的標簽，比如二分類常見的1和-1。
- -ProbA: 使用-b參數時用于概率估計的數值，否則為空。
- -ProbB: 使用-b參數時用于概率估計的數值，否則為空。
- -nSV: 表示每類樣本的支持向量的數目，和Label的類別標簽對應。如Label=[1; -1],nSV=[63; 67]，則標簽為1的樣本有63個支持向量，標簽為-1的有67個。
- -sv_coef: 表示每個支持向量在決策函數中的系數。
- -SVs: 表示所有的支持向量，如果特征是n維的，支持向量一共有m個，則為m x n的稀疏矩陣。
另外，如果在訓練中使用了-v參數進行交叉驗證時，返回的不是一個模型，而是交叉驗證的分類的正確率或者回歸的均方根誤差。
當構建完成model后，還要為上述參數選擇合適的值，方法主要有Gridsearch,其他的感覺不常用，Gridsearch說白了就是窮舉。
?
網格參數尋優函數(分類問題):SVMcgForClass
? ?[bestCVaccuracy,bestc,bestg]=SVMcgForClass(train_label,train,cmin,cmax,gmin,gmax,v,cstep,gstep,accstep)
輸入：
- train_label:訓練集的標簽，格式要求與svmtrain相同。
- train:訓練集，格式要求與svmtrain相同。
- cmin,cmax:懲罰參數c的變化范圍，即在[2^cmin,2^cmax]范圍內尋找最佳的參數c，默認值為cmin=-8，cmax=8，即默認懲罰參數c的范圍是[2^(-8),2^8]。
- gmin,gmax:RBF核參數g的變化范圍，即在[2^gmin,2^gmax]范圍內尋找最佳的RBF核參數g，默認值為gmin=-8，gmax=8，即默認RBF核參數g的范圍是[2^(-8),2^8]。
- v:進行Cross Validation過程中的參數，即對訓練集進行v-fold Cross Validation，默認為3，即默認進行3折CV過程。?
- cstep,gstep:進行參數尋優是c和g的步進大小，即c的取值為2^cmin,2^(cmin+cstep),…,2^cmax,，g的取值為2^gmin,2^(gmin+gstep),…,2^gmax，默認取值為cstep=1,gstep=1。
- accstep:最后參數選擇結果圖中準確率離散化顯示的步進間隔大小（[0,100]之間的一個數），默認為4.5。
輸出：
- bestCVaccuracy:最終CV意義下的最佳分類準確率。
- bestc:最佳的參數c。
- bestg:最佳的參數g。
?
網格參數尋優函數(回歸問題):SVMcgForRegress
? [bestCVmse,bestc,bestg]=SVMcgForRegress(train_label,train,cmin,cmax,gmin,gmax,v,cstep,gstep,msestep)
其輸入輸出與SVMcgForClass類似，這里不再贅述。
SVM?怎樣能得到好的結果
1.???對數據做歸一化（simple scaling）
2.???應用?RBF kernel?
3.???用cross-validation和grid-search?得到最優的c和g
4.???用得到的最優c和g訓練訓練數據
5.???測試
?
關于svm的C以及核函數參數設置----------------------
C一般可以選擇為：10^t , t=- 4..4就是0.0001?到10000
?選擇的越大，表示對錯誤例懲罰程度越大，可能會導致模型過擬合
?
在LIBSVM中-t用來指定核函數類型（默認值是2）。
0）線性核函數
（無其他參數）
1）多項式核函數
（重點是階數的選擇，即d，一般選擇1-11：1 3 5 7 9 11，也可以選擇2,4，6…）
2）RBF核函數
（徑向基RBF內核，exp{-|xi-xj|^2/均方差}，其中均方差反映了數據波動的大小。
參數通常可選擇下面幾個數的倒數：0.1 0.2 0.4 0.6 0.8 1.6 3.2 6.4 12.8，默認的是類別數的倒數，即1/k，2分類的話就是0.5）
3）sigmoid核函數?又叫做S形內核
兩個參數g以及r：g一般可選1 2 3 4，r選0.2 0.4 0.60.8 1
4）自定義核函數
?
與核函數相對應的libsvm參數：
1）對于線性核函數，沒有專門需要設置的參數
2）對于多項式核函數，有三個參數。-d用來設置多項式核函數的最高此項次數，也就是公式中的d，默認值是3。-g用來設置核函數中的gamma參數設置，也就是公式中的第一個r(gamma)，默認值是1/k（k是類別數）。-r用來設置核函數中的coef0，也就是公式中的第二個r，默認值是0。
3）對于RBF核函數，有一個參數。-g用來設置核函數中的gamma參數設置，也就是公式中的第一個r(gamma)，默認值是1/k（k是類別數）。
4）對于sigmoid核函數，有兩個參數。-g用來設置核函數中的gamma參數設置，也就是公式中的第一個r(gamma)，默認值是1/k（k是類別數）。-r用來設置核函數中的coef0，也就是公式中的第二個r，默認值是0。
2. 預測
[predicted_label, accuracy, decision_values/prob_estimates]?
= libsvmpredict(testing_label_vector, testing_instance_matrix, model [, 'libsvm_options']);
這個函數包括四個參數，其中
- -testing_label_vector:測試樣本的類標，如果有m個樣本，就是m x 1的矩陣（類型必須為double）。如果類標未知，可以初始化為任意m x 1的double數組。
- -testing_instance_matrix:測試樣本的特征，如果有m個樣本，每個樣本特征是n維，則為m x n的矩陣（類型必須為double）。
- -model:使用libsvmtrain返回的模型
- -libsvm_options:預測的參數，與訓練的參數形式一樣。
libsvmpredict函數有三個返回值，不需要的值在Matlab可以用 ~ 進行代替。
- -predicted_label：第一個返回值，表示樣本的預測類標號。
- -accuracy：第二個返回值，一個3 x 1的數組，表示分類的正確率、回歸的均方根誤差、回歸的平方相關系數。
- -decision_values/prob_estimates：第三個返回值，一個矩陣包含決策的值或者概率估計。對于n個預測樣本、k類的問題，如果指定“-b 1”參數，則n x k的矩陣，每一行表示這個樣本分別屬于每一個類別的概率；如果沒有指定“-b 1”參數，則為n x k*(k-1)/2的矩陣，每一行表示k(k-1)/2個二分類SVM的預測結果。
3. 訓練的參數
LIBSVM訓練時可以選擇的參數很多，包括：
- -s svm類型：SVM設置類型（默認0)
0 — C-SVC； 1 –v-SVC； 2 – 一類SVM； 3 — e-SVR； 4 — v-SVR - -t 核函數類型：核函數設置類型（默認2）
0 – 線性核函數：u’v?
1 – 多項式核函數：（r*u’v + coef0)^degree
2 – RBF(徑向基)核函數：exp(-r|u-v|^2）
3 – sigmoid核函數：tanh(r*u’v + coef0) - -d degree：核函數中的degree設置（針對多項式核函數）（默認3）
- -g r(gamma）：核函數中的gamma函數設置（針對多項式/rbf/sigmoid核函數）（默認1/k，k為總類別數)
- -r coef0：核函數中的coef0設置（針對多項式/sigmoid核函數）（（默認0)
- -c cost：設置C-SVC，e -SVR和v-SVR的參數（損失函數）（默認1）
- -n nu：設置v-SVC，一類SVM和v- SVR的參數（默認0.5）
- -p p：設置e -SVR 中損失函數p的值（默認0.1）
- -m cachesize：設置cache內存大小，以MB為單位（默認40）
- -e eps：設置允許的終止判據（默認0.001）
- -h shrinking：是否使用啟發式，0或1（默認1）
- -wi weight：設置第幾類的參數C為weight*C (C-SVC中的C) （默認1）
- -v n: n-fold交互檢驗模式，n為fold的個數，必須大于等于2
以上這些參數設置可以按照SVM的類型和核函數所支持的參數進行任意組合，如果設置的參數在函數或SVM類型中沒有也不會產生影響，程序不會接受該參數；如果應有的參數設置不正確，參數將采用默認值。
4. 讀取或保存
libsvmread函數可以讀取以LIBSVM格式存儲的數據文件。
[label_vector, instance_matrix] = libsvmread(‘data.txt’);
這個函數輸入的是文件的名字，輸出為樣本的類標和對應的特征。
libsvmwrite函數可以把Matlab的矩陣存儲稱為LIBSVM格式的文件。
libsvmwrite(‘data.txt’, label_vector, instance_matrix]
這個函數有三個輸入，分別為保存的文件名、樣本的類標和對應的特征（必須為double類型的稀疏矩陣）。
--c++，Python版本)
--c++，Python版本)
