首先,讓我們看一個小的單變量時間序列數據,我們將用作上下文來理解這三種回測方法:太陽黑子數據集。該數據集描述了剛剛超過 230 年(1749-1983 年)觀察到的太陽黑子數量的每月計數。
數據集顯示了季節之間差異很大的季節性。
首先對數據集進行訓練-測試劃分:
使用多個訓練測試拆分將導致訓練更多模型,進而更準確地估計模型在未見數據上的性能。
訓練-測試拆分方法的一個限制是,訓練的模型在測試集中的每個評估中被評估時保持固定。
這可能是不現實的,因為模型可以在新的每日或每月觀察可用時重新訓練。下一節將解決這個問題。
向前驗證
在實踐中,我們很可能會在新數據可用時重新訓練我們的模型。
這將為模型提供在每個時間步進行良好預測的最佳機會。我們可以在這個假設下評估我們的機器學習模型。
1.最少觀察次數。首先,我們必須選擇訓練模型所需的最少觀察次數。如果使用滑動窗口,這可能被認為是窗口寬度(見下一點)。
2.滑動或擴展窗口。接下來,我們需要決定模型是使用所有可用數據進行訓練,還是僅根據最近的觀察結果進行訓練。這決定了使用滑動窗口還是展開窗口。