CNN發展史脈絡 概述圖整理




CNN發展史脈絡概述圖整理,學習心得,供參考,錯誤請批評指正。







相關論文:

LeNet:Handwritten Digit Recognition with a Back-Propagation Network;
Gradient-Based Learning Applied to Document Recognition(CNN的起點);

AlexNet:ImageNet Classification with Deep Convolutional Neural Networks(奠定CNN的基礎);

OverFeat:OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks;

ZFNet:isualizing and Understanding Convolutional Networks(在AlexNet基礎上做可視化、可解釋
相關工作);

VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(將模塊堆疊到極致);

Inception V1/GoogLeNet:Going deeper with convolutions(開始劍走偏鋒,提出一些非常規的分解、并行模塊,Inception架構的基礎);

BN-Inception:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift(Inception+Batch Normalization);

Inception V2/Inception V3:Rethinking the Inception Architecture for Computer Vision(上承Inception-V1,下啟Inception-V4和Xception,繼續對模塊進行分解);

Inception-V4, Inception-ResNet:Inception-V4, Inception-ResNet and the Impact of Residual Connections on Learning(純Inception block、結合ResNet和Inception);

Xception:Deep Learning with Depthwise Separable Convolutions(Xception:extreme inception,分解到極致的Inception);

ResNet V1:Deep Residual Learning for Image Recognition(何凱明,提出殘差連接概念 ResNet系列開山之作);

ResNet V2:Identity Mappings in Deep Residual Networks(何凱明,在V1的基礎上進行改進,和V1同一個作者);

DenseNet:Densely Connected Convolutional Networks;

ResNeXt:Aggregated Residual Transformations for Deep Neural Networks(何凱明團隊);

DualPathNet:Dual Path Networks;

SENet:queeze-and-Excitation Networks(提出SE模塊,可以便捷的插入其他網絡,由此有了一系列SE-X網絡);

Res2Net:Res2Net: A New Multi-scale Backbone Architecture;

ResNeSt:ResNeSt:Split-Attention Networks(集大成者);

NAS:NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING(神經網絡搜索的開山作之 有人工智能設計網絡);

NASNet:Learning Transferable Architectures for Scalable Image Recognition(將預測Layer參數改為預測block參數);

MnasNet:Platform-Aware Neural Architecture Search for Mobile(適用于算力受限的設備——移動端等);

MobileNets系列:
MobileNet V1: Efficient Convolutional Neural Networks for Mobile Vision Applications;

MobileNetV2:Inverted Residuals and Linear Bottlenecks;

MobileNetV3:Searching for MobileNetV3(用人工智能搜索出的架構);

SqueezeNet:ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE(與AlexNet同等精度,參數量比AlexNet小50倍,模型尺寸< 0.5MB的網絡);

ShuffleNet V1:ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices;

ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design;

EfficientNet V1:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks;

EfficientNetV2: Smaller Models and Faster Training;

Transformer:Attention Is All You Need(開山之作);

ViT:AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(transformer在CV領域應用的里程碑著作);

Swin:Swin Transformer: Hierarchical Vision Transformer using Shifted Windows(視覺Transformer);

VAN:Visual Attention Network(不是Transformer、只是將Transformer的思想借鑒入CNN中);

PVT:Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions(金字塔結構+Transformer);

TNT:Transformer in Transformer;

MLP-Mixer:MLP-Mixer: An all-MLP Architecture for Vision;

ConvMixer:ConvMixer:Patches Are All You Need( 證明 ViT 性能主要歸因于使用Patchs作為輸入表示的假設);

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/210021.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/210021.shtml
英文地址,請注明出處:http://en.pswp.cn/news/210021.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Python 中的數學運算(Python Math)

更多資料獲取 &#x1f4da; 個人網站&#xff1a;ipengtao.com Python中的math模塊是數學運算的重要工具&#xff0c;提供了豐富的數學函數和常數。本文將深入探討math模塊的功能和用法&#xff0c;使您能夠更好地利用Python進行數學運算。 Python的math模塊是一個強大的工具…

C51--OLED

GME12864-12 OLED寫入指令數據&#xff1a; 1、start&#xff08;&#xff09;開始 2、slave address 存積地址&#xff1a;011110 xx 寫入&#xff1a;b 0111 1000 &#xff08;0x78&#xff09;&#xff08;R / W位置為0時&#xff0c;表示寫入&#xff09; 3、ACK 4、cotro…

操作系統———磁盤調度算法模擬

實驗目的 磁盤是可供多個進程共享的設備&#xff0c;當有多個進程都要求訪問磁盤是&#xff0c;應采用一種最佳調度算法&#xff0c;以使各進程對磁盤的平均訪問時間最小。目前最成用的磁盤調度算法有先來先服務&#xff08;FCFS&#xff09;&#xff0c;最短尋道時間優先&…

Spring Boot的配置文件

配置文件的作用 整個項目中所有重要的數據都是在配置文件中配置&#xff0c;如數據庫的連接信息&#xff0c;項目的啟動端口&#xff0c;用于發現和定位問題的普通日志和異常日志等等。配置文件可以分為兩類 系統使用的配置文件&#xff08;系統配置文件&#xff09;&#xf…

【Kotlin】

Lambda 就是一小段可以作為參數傳遞的代碼。 因為正常情況下&#xff0c;我們向某個函數傳參時只能傳入變量&#xff0c;而借助Lambda 卻允許傳入一小段代碼。 Lambda 表達式的語法結構&#xff1a; {參數名1: 參數類型, 參數名2: 參數類型 -> 函數體}首先&#xff0c;最外…

JS基礎源碼之手寫模擬new

JS基礎源碼之手寫模擬new 手寫模擬new初步實現最終實現 手寫模擬new new 運算符創建一個用戶定義的對象類型的實例或具有構造函數的內置對象類型之一。 我們先看看new實現了哪些功能&#xff1a; function Person (name,age){this.name name;this.age age;this.habit Games;…

開發猿的平平淡淡周末---2023/12/9

上周回顧 完成了遺留的開發任務&#xff0c;基本全部完成進一步了解了系統當時設計的原理熟悉了代碼的重構 2023.12.9 天氣晴 溫度適宜 前言 小伙伴們大家好&#xff0c;時間很快&#xff0c;又來到了周末&#xff0c;也是一個平平淡淡的周末。上周只更了一篇博客...原…

滲透測試 | 滲透測試之信息收集

滲透測試&#xff08;penetration test&#xff0c;pentest&#xff09;是實施安全評估&#xff08;即審計&#xff09;的具體手段。 滲透測試可能是單獨進行的一項工作&#xff0c;也可能是常規研發生命周期&#xff08;例如&#xff0c;Microsoft SDLC&#xff09;里 IT 安全…

Unicode編碼解碼

一、Unicode概述 Unicode是一種字符編碼標準&#xff0c;旨在解決不同字符集之間的兼容性問題。它為全球所有語言提供了一種統一的編碼方式&#xff0c;使得各種字符能夠在計算機系統中正確顯示和處理。Unicode字符集包含了世界上幾乎所有的字符&#xff0c;包括中文字符、英文…

算法Day23 簡單吃飯(0-1背包)

簡單吃飯&#xff08;0-1背包&#xff09; Description Input Output Sample 代碼 import java.util.Scanner; public class Main {public static void main(String[] args) {Scanner scanner new Scanner(System.in);int n scanner.nextInt();int total scanner.nextInt(…

WebDriver核心方法和屬性:掌握自動化測試的利器

在自動化測試中&#xff0c;Selenium WebDriver是一個非常重要的工具。它提供了一種方式來模擬用戶與瀏覽器的交互&#xff0c;從而進行各種操作&#xff0c;如點擊按鈕、輸入文本等。本文將介紹WebDriver的核心方法和屬性&#xff0c;以及如何使用它們。 1. 啟動和關閉瀏覽器…

使用es256算法生成jwt

1、使用hutool來做 1、先去jwt解密/加密 - bejson在線工具弄個公私鑰 2、導入hutool maven <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.7.22</version></dependency><depe…

高項備考葵花寶典-項目進度管理輸入、輸出、工具和技術(中,很詳細考試必過)

項目進度管理的目標是使項目按時完成。有效的進度管理是項目管理成功的關鍵之一&#xff0c;進度問題在項目生命周期內引起的沖突最多。 小型項目中&#xff0c;定義活動、排列活動順序、估算活動持續時間及制定進度模型形成進度計劃等過程的聯系非常密切&#xff0c;可以視為一…

Pytorch中的resize和reshape

torch.reshape() 官方文檔的大致意思是&#xff1a; 返回與輸入具有相同數據和元素數量的張量&#xff0c;但是具有指定形狀。如果可能&#xff0c;返回的張量將是輸入的視圖&#xff0c;也就是說原本的tensor并沒有被改變&#xff0c;如果想要改變那么就將改變的tensor賦值給…

情深不必糾纏

那一年&#xff0c;男孩女孩在萬千人中相遇了。多年后女人的一封郵件&#xff0c;讓男人與女人的靈魂相遇了。他們無緣夫妻&#xff0c;卻發現彼此是靈魂的陪伴。不能攜手相守&#xff0c;卻懂得彼此的心靈。 有一天&#xff0c;女人告訴男人要回家了&#xff0c;問男人心里會不…

ejs —— 三目運算符的用法

EJS&#xff08;Embedded JavaScript&#xff09;是一種簡單的模板語言&#xff0c;它允許將JavaScript代碼嵌入到HTML中。在EJS中&#xff0c;<%、<%和<%-是用于將JavaScript代碼嵌入到模板中的語法。 <%&#xff1a;這是EJS的輸出表達式&#xff0c;用于將變量的…

阿里云安裝docker

文章目錄 一、 yum 進行安裝&#xff08;os版本 CentOS 7&#xff09; 推薦二、 apt-get 進行安裝(os版本 Ubuntu 14.04/16.04&#xff09;三、測試四、阿里云docker加速 一、 yum 進行安裝&#xff08;os版本 CentOS 7&#xff09; 推薦 # step 1: 安裝必要的一些系統工具 su…

<HarmonyOS第一課>應用服務上架【課后考核】

【習題】HarmonyOS應用/元服務上架 判斷題 元服務發布的國家與地區僅限于“中國大陸” 正確(True) 編譯打包的軟件包存放在項目目錄build > outputs > default下 正確(True) 單選題 創建應用時&#xff0c;應用包名需要和app.json5或者config.json文件中哪個字段保持…

VMware安裝Ubuntu20.04并使用Xshell連接虛擬機

文章目錄 虛擬機環境準備重置虛擬網絡適配器屬性&#xff08;可選&#xff09;配置NAT模式的靜態IP創建虛擬機虛擬機安裝配置 Xshell連接虛擬機 虛擬機環境準備 VMware WorkStation Pro 17.5&#xff1a;https://customerconnect.vmware.com/cn/downloads/details?downloadGr…

基于Java旅游信息管理系統

基于Java旅游信息管理系統 功能需求 1、旅游目的地管理&#xff1a;系統需要能夠記錄和管理各個旅游目的地的詳細信息&#xff0c;包括景點介紹、交通方式、住宿推薦等。管理員可以添加、編輯和刪除目的地信息。 2、旅游線路規劃&#xff1a;系統需要提供旅游線路規劃功能&a…