雖然LeNet在手寫數字識別上取得了不錯的結果，但是他在對于更大的數據集效果就十分有限。
一方面，對于更大尺寸的圖像效果有限
另一方面，對于更多分類的任務效果有限

自LeNet后的十幾年，計算機視覺領域步入寒冬，神經網絡再未取得比較好的效果，反而一度被其他算法超越。
一方面，神經網絡計算比較復雜，硬件計算能力有限
另一方面，當時很少有專門針對神經網絡做算法的研究和訓練技巧上的優化，這導致神經網絡收斂是很困難的事。

隨著技術發展，硬件算力逐漸強大，GPU的強大并行能力使復雜的神經網絡計算易于實現。其次，隨著互聯網的成熟，越來越多的數據可以作為訓練的來源，開始有人對神經網絡進行深入的研究。

Alex等人于2012年在ImageNet比賽中提出的網絡AlexNet取得冠軍，效果優異，極大激發產業界對神經網絡的興趣，開創了通過深度神經網絡解決圖像問題的途徑，深度學習在計算機視覺領域開始大放異彩。

論文題目：ImageNet Classification with Deep Convolutional Neural Networks

創新點

• 數據增強
• 使用了Dropout抑制過擬合
• 使用了ReLu的激活函數，極大降低了梯度消失的問題
• 用了兩塊GPU，引入了并行計算的思想（目前顯存完全足夠，無需分別計算了）