from:https://blog.csdn.net/lhx878619717/article/details/49079785

交叉驗證（Cross validation)，交叉驗證用于防止模型過于復雜而引起的過擬合.

有時亦稱循環估計， 是一種統計學上將數據樣本切割成較小子集的實用方法。于是可以先在一個子集上做分析， 而其它子集則用來做后續對此分析的確認及驗證。 一開始的子集被稱為訓練集。而其它的子集則被稱為驗證集或測試集。

交叉驗證是一種評估統計分析、機器學習算法對獨立于訓練數據的數據集的泛化能力（generalize）。

?

交叉驗證一般要盡量滿足：

1）訓練集的比例要足夠多，一般大于一半
2）訓練集和測試集要均勻抽樣

交叉驗證主要分成以下幾類：
1）k-folder cross-validation:
k個子集，每個子集均做一次測試集，其余的作為訓練集。交叉驗證重復k次，每次選擇一個子集作為測試集，并將k次的平均交叉驗證識別正確率作為結果。
優點：所有的樣本都被作為了訓練集和測試集，每個樣本都被驗證一次。10-folder通常被使用。
2）K * 2 folder cross-validation
是k-folder cross-validation的一個變體，對每一個folder，都平均分成兩個集合s0,s1，我們先在集合s0訓練用s1測試，然后用s1訓練s0測試。
優點是：測試和訓練集都足夠大，每一個個樣本都被作為訓練集和測試集。一般使用k=10
3)least-one-out cross-validation(loocv)
假設dataset中有n個樣本，那LOOCV也就是n-CV，意思是每個樣本單獨作為一次測試集，剩余n-1個樣本則做為訓練集。
優點：
1）每一回合中幾乎所有的樣本皆用于訓練model，因此最接近母體樣本的分布，估測所得的generalization error比較可靠。
2）實驗過程中沒有隨機因素會影響實驗數據，確保實驗過程是可以被復制的。
但LOOCV的缺點則是計算成本高，為需要建立的models數量與總樣本數量相同，當總樣本數量相當多時，LOOCV在實作上便有困難，除非每次訓練model的速度很快，或是可以用平行化計算減少計算所需的時間。

?

——-十折交叉驗證：10-fold cross validation——-

英文名叫做10-fold cross-validation，用來測試算法準確性。是常用的測試方法。將數據集分成十分，輪流將其中9份作為訓練數據，1份作為測試數據，進行試驗。每次試驗都會得出相應的正確率（或差錯率）。10次的結果的正確率（或差錯率）的平均值作為對算法精度的估計，一般還需要進行多次10折交叉驗證（例如10次10折交叉驗證），再求其均值，作為對算法準確性的估計。

之所以選擇將數據集分為10份，是因為通過利用大量數據集、使用不同學習技術進行的大量試驗，表明10折是獲得最好誤差估計的恰當選擇，而且也有一些理論根據可以證明這一點。但這并非最終診斷，爭議仍然存在。而且似乎5折或者20折與10折所得出的結果也相差無幾。

舉例如下：

?

?

問題描述：

如何在一些模型中選擇一個最好的模型；避免數據浪費；

舉例說明

1 多項式回歸模型中??我們知道模型越復雜即m越高，擬合效果越好。但是未必是一個好的分類模型，因為模型過擬合了。那么如何確定m的值呢。

2 locally weighted regression中，τ值得確定。

3 SVM中參數C的確定。

交叉驗證就是很好的用于這些問題，這些模型中參數尋優的問題。

?

?

如何交叉驗證：

我這里主要介紹K交叉驗證

1 將數據集分成K份（網上有說是將數據集分成測試訓練兩部分，然后將訓練部分再分K份，我覺得這樣仍然有大部分數據沒用于模型訓練造成數據浪費。）

2 對于每一個模型（拿多項式回歸舉例， m=2為一個模型，m=3為一個模型。。。我們主要就是尋找最好的m）

??for j=1,2,...,k

??????將除第j份的所有數據作為訓練集用于訓練，得到訓練參數。

??????將訓練參數在第j份數據上進行測試，得到測試錯誤E（j）；

3 經過第二步就得到了K個模型，和K個測試錯誤，將這K個錯誤求平均，就是該模型的estimated generalization error。

4?estimated generalization error最小的模型即為我們最優的模型，（例如發現m=3時平均錯誤最小）我們取這個模型再對所有數據進行訓練，得到一個模型參數即為所求。

這樣就避免了數據浪費，所有數據都有用于過訓練。