預訓練有什么用

傳統的機器學習是偏數學的，對數據的量不做過多要求，而深度學習的項目通常是有大量的數據可供使用。

在平常的任務或者項目中，我們可能并沒有大量數據，只有少量數據，在這時我們就可以通過“借用”有大數據支持的模型的參數，作為基準，這樣就能提高效率和準確率。因為他們神經網絡的淺層是相似的，也就是說，在任務相似的情況下，可以用已有的模型即“預訓練”好的模型參數實現小數據量的模型訓練。

預訓練可以節省訓練時間，和成本。

預訓練是什么

通過一個已訓練好的模型A，去完成一個小數據量的任務B，前提，任務A和任務B極其相似。

分兩步

• 凍結：淺層參數不變

• 微調：淺層參數會跟著訓練而改變

預訓練怎么用

fairseq、transformers庫