1.介紹
在計算機視覺領域,EfficientNet因其高效的網絡架構設計而廣受歡迎。
本文將深入分析一個結合EfficientNet主干和Transformer分類頭的創新模型實現。
模型概述
這個實現將EfficientNet的高效特征提取能力與Transformer的強大序列建模能力相結合,主要包含以下幾個核心組件:
- ??基礎卷積模塊??:包括Swish激活函數和ConvBnAct組合模塊
- ??MBConv模塊??:EfficientNet的核心構建塊
- ??Squeeze-Excitation注意力機制??:通道注意力模塊
- ??Transformer分類頭??:替代傳統全連接層的創新設計