今天的深度學習方法專注于如何設計最合適的目標函數，以使模型的預測結果最接近真實情況。同時，必須設計一個合適的架構，以便為預測提供足夠的信息。現有方法忽視了一個事實，即當輸入數據經過逐層特征提取和空間轉換時，會丟失大量信息。本文將深入探討數據通過深度網絡傳輸時出現的數據丟失的重要問題，即信息瓶頸和可逆函數。我們提出了可編程梯度信息（PGI）的概念，以應對深度網絡實現多個目標所需的各種變化。PGI可以為目標任務提供完整的輸入信息，以計算目標函數，從而獲得可靠的梯度信息來更新網絡權重。此外，基于梯度路徑規劃設計了一種新的輕量級網絡架構——通用高效層聚合網絡（GELAN）。GELAN的架構證實了PGI在輕量級模型上取得了優異的結果。我們在基于 MS COCO 數據集的目標檢測上驗證了提出的 GELAN 和 PGI。結果顯示，GELAN 僅使用傳統的卷積運算符，比基于深度卷積的最新方法實現了更好的參數利用率。PGI 可以用于各種模型，從輕量級到大型模型都適用。它可以用來獲取完整的信息，使得從頭開始訓練的模型比使用大型數據集預訓練的最新模型獲得更好的結果，比較結果如圖1所示。

文章地址：