MobileNet 是一個專為移動設備和嵌入式系統設計的輕量化卷積神經網絡（CNN）家族，旨在在資源受限的環境中實現高效的圖像分類、對象檢測和語義分割等任務。自 2017 年首次推出以來，MobileNet 經歷了從 v1 到 v4 的多次迭代，每一代都在計算效率、模型大小和準確性上取得了顯著進步。本文將詳細探討 MobileNet v1、v2、v3 和 v4 的原理、架構設計及其發展歷程，并分析其關鍵創新和性能表現。

---

MobileNet v1：奠定輕量化基礎

發布時間：2017 年
MobileNet v1 是該系列的起點，由 Google 提出，目標是設計一種高效的 CNN，適合在移動設備上運行。其核心創新是引入了深度可分離卷積（depthwise separable convolution），大幅降低了計算復雜度和模型參數量。

• 原理與創新：
  深度可分離卷積將標準卷積分解為兩個步驟：

  1. 深度卷積（depthwise convolution）：對每個輸入通道單獨應用一個濾波器，減少計算量。
  2. 逐點卷積（pointwise convolution）：使用 1x1 卷積融合深度卷積的輸出，生成新的特征圖。
     相比標準卷積，這種方法將計算成本降低了約 8-9 倍（取決于濾波器數量）。
     此外，v1 引入了寬度乘數（α）和分辨率乘數（ρ），允許用戶通過調整濾波器數量和輸入分辨率，在效率和準確性之間靈活權衡。

• 架構設計：
  網絡以一個標準的 3x3 卷積層開頭，隨后是 13 個深度可分離卷積模塊，通過步幅實現降采樣，最后以平均池化和全連接層完成分類。輸入分辨率默認設為 224x224。

• 性能表現：
  在 ImageNet 數據集上，MobileNet v1（α=1，ρ=1）實現了 70.6% 的 top-1 準確率，擁有 4.2 百萬參數和 569 百萬乘加運算（MAdds）。相比之下，VGG-16 的參數量（138 百萬）和計算量（15,300 MAdds）遠超 v1，而準確率僅略高（71.5%）。

• 意義：
  MobileNet v1 奠定了輕量化網絡的基礎，證明了深度可分離卷積在移動視覺任務中的潛力。

參考文獻：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

---

MobileNet v2：倒置殘差與線性瓶頸的突破

發布時間：2018 年
MobileNet v2 在 v1 的基礎上引入了倒置殘差（inverted residuals）和線性瓶頸（linear bottlenecks），進一步提升了效率和性能。

• 原理與創新：

  1. 倒置殘差：
     與傳統殘差網絡（如 ResNet）不同，v2 的殘差連接發生在低維瓶頸層之間，而非高維層。每個模塊首先通過 1x1 卷積擴展通道（擴展因子通常為 6），然后應用深度卷積，最后通過 1x1 卷積壓縮回低維。這種“擴展-卷積-壓縮”的結構被稱為倒置殘差。
  2. 線性瓶頸：
     在壓縮層后，v2 移除非線性激活（如 ReLU），以避免低維特征的信息損失，保留更多表示能力。

• 架構設計：
  網絡以一個 32 通道的 3x3 卷積層開始，隨后是 19 個瓶頸殘差塊。這些塊分為擴展層（expansion layer）、深度卷積層和投影層（projection layer），通過殘差連接優化梯度流動。

• 性能表現：
  在 ImageNet 上，MobileNet v2（α=1）達到 72.0% 的 top-1 準確率，參數量為 3.4 百萬，MAdds 為 300 百萬，Google Pixel 1 上的 CPU 延遲為 75ms。相比 v1（70.6% 準確率，575 MAdds，113ms），v2 在更低的計算成本下提高了準確性。

• 意義：
  倒置殘差和線性瓶頸的引入使 MobileNet v2 成為更高效的模型，廣泛應用于實時任務。

參考文獻：MobileNetV2: Inverted Residuals and Linear Bottlenecks

---

MobileNet v3：神經架構搜索與硬件優化

發布時間：2019 年
MobileNet v3 通過**神經架構搜索（NAS）**和硬件感知優化，將移動網絡設計推向新高度。它結合了 v2 的基礎結構，并引入了新的激活函數和模塊。

• 原理與創新：

  1. 神經架構搜索（NAS）：
     使用 NAS 自動搜索網絡結構，結合 NetAdapt 算法微調層級參數，優化延遲和準確性。
  2. h-swish 激活：
     替換傳統 ReLU 和 swish，h-swish（基于硬 sigmoid）在深層網絡中減少計算開銷，同時保持非線性表達能力。
  3. 擠壓-激勵（SE）模塊：
     在瓶頸塊中加入 SE 模塊，固定為擴展層的 1/4 大小，增強通道間的依賴性。

• 架構設計：
  MobileNet v3 基于 v2 的倒置殘差塊（稱為 MBConv），提供兩種變體：

  • MobileNetV3-Large：適用于高資源場景，目標延遲約 80ms。
  • MobileNetV3-Small：適用于低資源場景，結構更緊湊。

• 性能表現：

  • MobileNetV3-Large：75.2% top-1 準確率，5.4 百萬參數，217 MAdds。
  • MobileNetV3-Small：67.5% top-1 準確率，2.5 百萬參數，57 MAdds。
    與 v2 相比，Large 模型準確率提升 3.2%，延遲降低約 20%。

• 意義：
  MobileNet v3 通過自動化設計和硬件優化，成為移動設備上的標桿模型。

參考文獻：Searching for MobileNetV3

---

MobileNet v4：通用設計與多硬件支持

發布時間：2024 年
MobileNet v4 是最新一代，旨在為移動生態系統提供通用的高效架構，針對多種硬件（如 CPU、DSP、GPU 和專用加速器）進行了優化。

• 原理與創新：

  1. 通用倒置瓶頸（UIB）：
     通過搜索融合多種塊類型（倒置瓶頸、ConvNext、FFN 和 Extra Depthwise），生成靈活的計算單元，適應不同硬件需求。
  2. 移動優化多查詢注意力（Mobile MQA）：
     引入輕量化的注意力機制，加速約 39%，提升特征表達能力。
  3. 增強的 NAS：
     使用更先進的搜索策略，優化延遲、內存和準確性的 Pareto 前沿。

• 架構設計：
  v4 的具體層級細節依賴于搜索結果，但其核心是 UIB 塊和 MQA 模塊的組合，支持多種硬件加速器（如 Apple Neural Engine 和 Google EdgeTPU）。

• 性能表現：
  具體數據需參考最新論文，但 v4 被設計為在多種移動場景下實現最優性能，尤其是在邊緣計算中表現出色。

• 意義：
  MobileNet v4 的通用性和硬件適配能力使其成為未來移動視覺任務的理想選擇。

參考文獻：MobileNetV4 – Universal Models for the Mobile Ecosystem

---

發展歷程總結

版本	發布年份	核心創新	Top-1 準確率（α=1）	參數量 (M)	MAdds (M)
MobileNet v1	2017	深度可分離卷積	70.6%	4.2	569
MobileNet v2	2018	倒置殘差，線性瓶頸	72.0%	3.4	300
MobileNet v3	2019	NAS，h-swish，SE 模塊	75.2% (Large)	5.4	217
MobileNet v4	2024	UIB，Mobile MQA，增強 NAS	未公開	未公開	未公開

---

未來展望

MobileNet 從 v1 的輕量化探索，到 v4 的通用硬件優化，展示了深度學習在移動設備上的演進路徑。未來，隨著邊緣計算和專用硬件的發展，MobileNet 可能進一步通過自動化設計和跨平臺優化，滿足更復雜的實時視覺需求。

---

參考文獻

1. Howard, A. G., et al. (2017). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv:1704.04861
2. Sandler, M., et al. (2018). MobileNetV2: Inverted Residuals and Linear Bottlenecks. arXiv:1801.04381
3. Howard, A., et al. (2019). Searching for MobileNetV3. arXiv:1905.02244
4. Yang, T., et al. (2024). MobileNetV4 – Universal Models for the Mobile Ecosystem. arXiv:2404.10518