模型調參

手工超參數微調

• 以一個好的baseline開始，即：在一些高質量的工具包中的默認設置，論文中的值
• 調一個值，重新訓練這個模型來觀察變化
• 重復很多次獲得對以下的insight：
  1、哪個超參數重要
  2、模型對超參數的敏感度是怎樣的
  3、哪一片range是好的

自動調節超參數

Automated Machine Learning（AutoML）

• 在應用機器學習解決真實世界問題的時候自動化每一個步驟：數據清洗，特征提取，模型選擇…
• 超參數優化（Hyperparameter optimization，HPO）
  通過搜索算法找到一組好的超參數
• 神經結構搜索（Neural architecture search，NAS）
  構建一個好的神經網絡模型

超參數優化

搜索空間

• 每個超參數特定的區間
  

HPO算法：Black-box、Multi-fidelity

• Black-box：將HPO中每一次的訓練當成一個黑盒
  每一次完成整個訓練過程
• Multi-fidelity：修改訓練工作來加速搜索
  1、在下采樣的數據上進行訓練
  2、減少模型size（減少layer、channel）
  3、提早停止不好的配置

兩個最常見的HPO策略

• Grid search
  評價所有組合
  保證最好的結果
  維度詛咒

for config in search_space:train_and_eval(config)
return best_result

• Random search隨機搜索

for _ in range(n):config = random_select(search_space)train_and_eval(config)
return best_result

貝葉斯優化（Bayesian Optimization，BO）

• BO：從HP（超參數）到目標函數中學一個函數
  根據之前的實驗，根據目前的估計選擇下一次的實驗參數
• Surrogate model
  評估目標函數怎樣依賴HP
  可能的回歸模型：隨機森林，高斯過程
• Acquisition function（獲取函數）
  獲取值 高，意味著 不確定性和預測的目標值 高
  根據獲取函數采樣下一輪的超參數
  權衡exploration和exploitation
• BO的局限
  最開始類似于隨即搜索
  優化過程是時序的

Successive Halving

• 隨機選擇n個超參數，訓練m個epoch
• 重復直到只有一個參數留下：
  保留最好的n/2個參數，再訓練m次
  保留最好的n/4個參數，再訓練2m次
  …
• n和m的選擇是基于訓練預算和一個完整訓練需要的epoch

Hyperband

• 在Successive Halving中：
  n：exploration
  m：exploitation
• Hyperband運行多次Successive Halving，每次將n變小，將m變大