1. 引言

卷積神經網絡(CNN)之所以在計算機視覺、語音識別等領域取得突破性進展，并非偶然。相比傳統的全連接神經網絡，CNN通過三個重要的思想來幫助改進機器學習系統：稀疏交互(sparse interactions)、參數共享(parameter sharing)、等變表示(equivariant representations)。此外，卷積還提供了一種處理大小可變輸入的有效方法。

本文將深入探討這些核心概念，幫助讀者理解CNN相對于傳統神經網絡的顯著優勢。

2. 稀疏交互(Sparse Interactions)

2.1 傳統神經網絡的局限性

傳統的神經網絡使用矩陣乘法來建立輸入與輸出的連接關系。其中，參數矩陣中每一個單獨的參數都描述了一個輸入單元與一個輸出單元間的交互。這意味著每一個輸出單元與每一個輸入單元都產生交互。

這種全連接的方式存在明顯問題：

• 參數數量龐大，存儲需求高
• 計算復雜度高
• 統計效率低下
• 容易過擬合

2.2 卷積網絡的稀疏連接特性

卷積網絡具有稀疏交互(也叫做稀疏連接或者稀疏權重)的特征。這是通過使核的大小遠小于輸入的大小來達到的。

具體優勢分析：

當處理一張圖像時，輸入的圖像可能包含成千上萬個像素點，但