1. 概念闡釋：

還記得上次說的“老師教你畫畫，不只教‘貓’，還教‘像狗像樹葉’的細微感覺”嗎？那是最初的蒸餾。

后來大家發現，老師不僅僅通過“最后畫出來像什么”來教你。

• 有時候，老師是教你“他畫畫時，哪里用了力氣，哪里畫得特別認真”（這叫基于特征的蒸餾，學習老師畫畫的“內在過程”）。
• 有時候，老師是教你“這只貓和旁邊那只老虎，它們之間有什么不同和相似”（這叫基于關系的蒸餾，學習老師對不同東西的“比較和連接”）。

所以，知識蒸餾就像是，老師有很多種高級的教學方法，不只通過最終的“畫作”來教你，還通過他“畫畫的技巧”和“對不同畫的理解和比較”來教你，讓你這個小孩子（小模型）學得更全面，更聰明！

自Hinton開創性的基于Logits的知識蒸餾后，研究者們發現，“知識”不僅僅是最終的預測概率，它還能以其他形式存在于教師模型中，并能被有效地傳遞。這導致了知識蒸餾方法的極大豐富。

A. 不同類型的知識蒸餾（知識傳