一、網絡架構
- 一個神經網絡一般可以分成兩塊
- 特征抽取，將原始像素變成容易線性分割的特征。
- 線性分類器來做分類。
二、訓練
- 是一個目標數據集上的正常訓練任務，
但使用更強的正則化- 使用更小的學習率
- 使用更少的數據迭代
- 源數據集遠遠復雜于目標數據集的話，通常微調效果更好
三、固定一些層
- 神經網絡通常學習有層次的特征表示
- 低層次的特征更加通用
- 高層次的特征和數據集相關
- 可以固定底部的一些層的參數，不參與更新
總結
- 微調通過使用在大數據上得到的預訓練好的模型來初始化模型權重來完成提升精度。
- 預訓練模型質量很重要
- 微調通常速度更快，精度更高
)
