Neural Architecture Search（NAS）

• 一個神經網絡有不同類型的超參數
  拓撲結構：resnet，mobilenet
  單獨層：核大小，卷積層的通道，輸出隱藏單元的個數
• NAS自動設計神經網絡
  如何設計搜索空間
  如何探索搜索空間
  性能評估

one-shot 方法

• 將學習架構核模型參數聯系在一起學習
• 構建訓練一個單獨的模型來表現一系列廣泛的模型
• 評價候選結構
  只關心候選排名
  用一個近似的指標：幾個輪次之后的準確度
• 重新訓練最好的候選模型

可微的架構搜索（Differentiable Architecture Search）

• 將子路類別選擇給softmax執行
  1、每一層有多個候選
  2、在l層第i個候選的輸出是$o_i^l$
  3、學習一個混合權重$a^l$，第i+1層的輸入是$\sum _{\begin{array}{c}i\end{array}}{\alpha }_i^l{o}_i^l$，其中${\alpha }^l=softmax(a^l)$
  4、選擇候選$argma{x}_i{\alpha }_i$
  5、將學習的$a^l$加入網絡參數

Scaling CNNs

• 一個CNN能有3種方法調節
  1、更深：更多層
  2、更寬：更多輸出通道
  3、更大的輸出：增加輸入圖像的分辨率
• EfficientNet建議一個混合的scaling
  1、深度規模每次變換${\alpha }^{?}$，寬度變換${\beta }^{?}$，分辨率變換${\gamma }^{?}$
  2、$\alpha {\beta }^2{\gamma }^2\approx 2$，若$?=1$，則把計算復雜度（FLOP）翻了一倍
  3、可調參數$\alpha ,\beta ,\gamma ,?$

研究方向

• NAS結果的可解釋性
• 適合邊緣設備（如手機）的搜索結構
• 到哪種程度我們能實現整個機器學習的自動化