AlexNet: Revolutionizing Deep Learning for Computer Vision

(1)網絡提出的背景

論文題目：ImageNet Classification with Deep Convolutional Neural Networks
arXiv地址：https://arxiv.org/abs/1207.0575

在2012年ImageNet大規模視覺識別挑戰賽(ILSVRC)中，AlexNet以15.3% 的top-5錯誤率奪冠（第二名僅為26.2%），徹底改變了計算機視覺領域。當時的背景是：

1. 硬件限制：GPU計算尚未普及，大規模網絡訓練困難
2. 梯度消失：深層網絡難以用sigmoid/tanh激活函數有效訓練
3. 過擬合風險：6000萬參數模型極易在小數據集上過擬合

AlexNet的創新解決方案：

• 首次使用ReLU激活函數：解決梯度消失問題，訓練速度比tanh快6倍
• GPU并行訓練：首次利用雙GTX 580 GPU進行模型并行，訓練時間從數月縮短至數天