前一篇文章，使用 AlexNet 實現圖片分類 | PyTorch 深度學習實戰

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

本篇文章內容來自于學習 9年后重讀深度學習奠基作之一：AlexNet【下】【論文精讀】】的心得。

ImageNet Classification with Deep Convolutional Neural Networks

https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

關于 AlexNet 工作原理的博客： https://readmedium.com/alexnet-explained-a-step-by-step-guide-93870b45126b

視頻學習感悟

• 沒有必要學習前人的太多東西，因為很多東西是錯誤的，學習它們反而限制了自己的思路¹
• 工程能力很強才能驗證自己的猜想，驗證自己的猜想才能創新；光有猜想而沒有能力驗證等于空談
• 只要你的東西足夠新，即使有很多說法是錯誤的，別人也會相信，關鍵是能 work，方法就是好過現在的，至于為什么可以慢慢等待時間，這個和牛頓萊布尼茨使用微積分，而微積分的嚴謹要一百多年后由柯西補充是一樣的
• 不要害怕學術工作，學術工作需要你：學習數學²，掌握編程，并且要勤奮。

視頻學習知識經驗

• 經過了 2012 ~ 2021 年的探索，人們最終發現，主要的貢獻在于大規模的數據集和算力本身，一些技巧證明不是大模型可訓練的關鍵因素。
• 正則化手段去處理過擬合，不是最關鍵的，最關鍵的是網絡的架構設計，網絡的架構好，就會讓模型更容易訓練
• 首先要說自己實現了什么東西，比如在哪些地方超過了其它的模型和方法。然后，再說自己是怎么做的。
• 論文前面的內容要高屋建瓴，細節放在第 3、4 章去寫。
• 論文的核心觀點是：用 CNN 來做圖像分類，然后經驗是如何將 CNN 做的特別大。
  • 使用多 GPU，論文仲使用的顯卡是 GTX 580 3GB, 兩張。所以，該顯卡在當時也不是很先進，而且要將模型切開，放在兩張卡，所以，該論文的研發還是工作量很大 ³
  • 使用一些技術來降低過擬合
  • 結果好只是一些方面，一些工程上的勞動也可能做出好結果，但是這意味著沒有算法上的創新，學術主要看算法的創新
  • 使用 RGB 做成向量，進入模型，被稱為 RAW 模式 ⁴ 。還有一種模式，是把圖片提取特征，常見算法是 SIFT。一些研究方向，https://github.com/christiansafka/img2vec， https://scikit-image.org/docs/stable/auto_examples/features_detection/plot_sift.html
• 這個項目 Alex 對比了 ILSVRC-2010 和 ILSVRC-2012 兩個數據集的成績。
• 論文中，重點強調了使用 ReLU 作為激活函數，Hinton 在一次訪談中 ⁵ ，坦陳挑選到 ReLU 花了十年的時間
• 論文中的參考文章并不多，這個文章的寫作團隊很牛，作為一個創新的團隊，沒有必要研究前人的很多東西，因為前人的很多東西也是錯誤的，研究了很多以后自己反而被限制，那么靈感來源于哪里？靈感來源于對周圍世界的觀察和一些更為成熟的行業，比如人工智能領域內的很多發明來自于更成熟的通信行業⁶

---

1. 自然界的寶庫和秘密，就在我們眼前，需要我們多問問題。用好奇心探索，就像達芬奇，并沒有學習他所在時代的前人精華太多，主要靠自學，從觀察身邊的事物開始。https://www.bilibili.com/video/BV1iG411K7ma/ ??

2. 主要是微積分、概率論、線性代數。 ??

3. 實現一篇高質量的論文，還是需要通過工程手段驗證猜想，無論結果是證實還是證偽，都是有價值的，關鍵是猜想本身是一個好的猜想，有新意。首先是好的猜想，然后工程能力是必不可少的。如果有很好的猜想，卻無法證實或證偽，這個就是玄學，玄學不是科學。 ??

4. 不做任何特征提取，直接將原始的圖片、文本作為訓練模型的輸入，被稱為 End to end 訓練。 ??

5. Hinton 回顧與 Ilya 的初次見面和合作，https://www.bilibili.com/video/BV1xM4m1k7ZJ ??

6. 很多論文發布，只是作為一些經典論文的陪襯，因為它們的作者是通過一些經典論文，并研究其中的不足之處，然后發布的。真正的有價值的論文其實不多，這些論文的靈感是來自于作者的好奇心或者從別的行業汲取的寶貴經驗。 ??