【work】AI八股-神經網絡相關

Deep-Learning-Interview-Book/docs/深度學習.md at master · amusi/Deep-Learning-Interview-Book · GitHub

?網上相關總結：

小菜雞寫一寫基礎深度學習的問題（復制大佬的，自己復習用） - 知乎 (zhihu.com)

CV面試問題準備持續更新貼 - 知乎 (zhihu.com)

Epoch

  • Epoch?是指完成一次完整的數據集訓練的過程。
  • 比如，有一個數據集有1000個樣本，當網絡用這些樣本訓練一次后，這就是一個epoch。

Iteration

  • Iteration?是指在一個epoch中，使用一個batch進行訓練的次數。
  • 如果你的數據集有1000個樣本，batch size是100，那么一個epoch就會有10次iteration（1000/100=10）。

Batch Size

  • Batch Size?是指每次iteration中用于訓練的樣本數量。
  • 如果你的batch size是100，每次訓練就使用100個樣本。

反向傳播（BP）推導

假設我們有一個簡單的三層神經網絡（輸入層、隱藏層和輸出層）：

  1. 輸入層: xxx
  2. 隱藏層: hhh
  3. 輸出層: yyy

前向傳播

  1. 輸入到隱藏層: h=f(Wxhx+bh)h = f(W_{xh} x + b_h)h=f(Wxh?x+bh?) 其中 WxhW_{xh}Wxh? 是輸入到隱藏層的權重矩陣，bhb_hbh? 是隱藏層的偏置向量，fff 是激活函數。

  2. 隱藏層到輸出層: y^=g(Whyh+by)\hat{y} = g(W_{hy} h + b_y)y^?=g(Why?h+by?) 其中 WhyW_{hy}Why? 是隱藏層到輸出層的權重矩陣，byb_yby? 是輸出層的偏置向量，ggg 是輸出層的激活函數，通常在分類問題中是softmax函數。

損失函數

假設我們使用均方誤差損失函數：

其中 yyy 是實際輸出，y^\hat{y}y^? 是預測輸出。

反向傳播

我們需要計算損失 LLL 對每個權重和偏置的梯度，然后更新這些參數。我們從輸出層開始，逐層向后推導。

  1. 輸出層梯度:

  2. 隱藏層到輸出層權重梯度:

  3. 隱藏層到輸出層偏置梯度:

  4. 隱藏層誤差:

  5. 輸入層到隱藏層權重梯度:

  6. 輸入層到隱藏層偏置梯度:

參數更新

使用梯度下降法更新權重和偏置：

其中 η 是學習率。

?深度神經網絡（DNN）反向傳播算法(BP) - 劉建平Pinard - 博客園 (cnblogs.com)

感受野計算

如何計算感受野(Receptive Field)——原理 - 知乎 (zhihu.com)

池化?

1. 池化的作用

池化的主要作用有兩個：

  • 降低計算復雜度：通過減少特征圖的尺寸，減少后續卷積層和全連接層的計算量。
  • 減小過擬合：通過降低特征圖的分辨率，可以使模型更具魯棒性，對輸入數據的小變化不那么敏感。
2. 池化類型

池化操作通常有兩種類型：

  • 最大池化（Max Pooling）：從池化窗口中選擇最大值。
  • 平均池化（Average Pooling）：從池化窗口中選擇平均值。

?池化(Pooling)的種類與具體用法——基于Pytorch-CSDN博客

一圖讀懂-神經網絡14種池化Pooling原理和可視化（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）_圖池化-CSDN博客

卷積神經網絡(CNN)反向傳播算法 - 劉建平Pinard - 博客園 (cnblogs.com)

Sobel邊緣檢測

是圖像處理中常用的技術，它使用卷積核（濾波器）來突出圖像中的邊緣。Sobel算子通過計算圖像灰度值的梯度來檢測邊緣。

1. Sobel算子

Sobel算子有兩個卷積核，一個用于檢測水平方向的邊緣，另一個用于檢測垂直方向的邊緣。

水平Sobel卷積核（Gx）
 

diff
 

復制代碼
 

-1 0 1 -2 0 2 -1 0 1 
 

垂直Sobel卷積核（Gy）
 

 

diff
 

復制代碼
 

-1 -2 -1 0 0 0 1 2 1 
 

2. Sobel卷積操作
 

通過將這兩個卷積核分別與圖像進行卷積操作，可以得到圖像在水平方向和垂直方向上的梯度圖。
 

卷積計算過程
 

假設有一個3x3的圖像塊：
 

 

css
 

復制代碼
 

a b c d e f g h i 
 

水平方向的梯度計算（Gx）：
 

 

css
 

復制代碼
 

Gx = (c + 2f + i) - (a + 2d + g) 
 

垂直方向的梯度計算（Gy）：
 

 

css
 

復制代碼
 

Gy = (g + 2h + i) - (a + 2b + c) 
 

3. 組合梯度
 

最終的梯度強度可以通過組合Gx和Gy計算得到：
 

 

scss
 

復制代碼
 

G = sqrt(Gx^2 + Gy^2)
 

 

梯度計算
 

通過這些卷積核，我們可以計算圖像在水平方向和垂直方向的梯度。梯度表示圖像灰度值的變化速率，變化速率大的地方就是邊緣。具體來說：
 

  • 水平方向梯度（Gx）：表示圖像從左到右的變化。如果有明顯的水平邊緣，Gx會有大的值。
  • 垂直方向梯度（Gy）：表示圖像從上到下的變化。如果有明顯的垂直邊緣，Gy會有大的值。
 

4. 組合梯度
 

最終，通過組合水平方向和垂直方向的梯度（通常使用歐幾里得距離），我們可以得到圖像的梯度強度：
 

計算力（flops）和參數（parameters）數量
 

(31 封私信 / 80 條消息) CNN 模型所需的計算力（flops）和參數（parameters）數量是怎么計算的？ - 知乎 (zhihu.com)
 

 

 

參數共享的卷積環節
 

 

不可導的激活函數如何處理
 

 

BN
 

BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm總結_四維layernormal-CSDN博客
 

Batch Normalization原理與實戰 - 知乎 (zhihu.com)
 

Normalization操作我們雖然緩解了ICS問題，讓每一層網絡的輸入數據分布都變得穩定，但卻導致了數據表達能力的缺失。BN又引入了兩個可學習（learnable）的參數?𝛾?與?𝛽?。這兩個參數的引入是為了恢復數據本身的表達能力，對規范化后的數據進行線性變換?
 

 

重點最后一句
 

 

 

 

 

感受野計算?
 

卷積神經網絡物體檢測之感受野大小計算 - machineLearning - 博客園 (cnblogs.com)
 

卷積神經網絡的感受野 - 知乎 (zhihu.com)
 

 

 

 

資源 | 從ReLU到Sinc，26種神經網絡激活函數可視化 (qq.com)
 

非線性激活函數的線性區域
 

 

 

從 SGD 到 Adam —— 深度學習優化算法概覽(一) - 知乎 (zhihu.com)
 

一個框架看懂優化算法之異同 SGD/AdaGrad/Adam - 知乎 (zhihu.com)
 

 
指數移動平均公式
 
EMA指數滑動平均（Exponential Moving Average）-CSDN博客
 
 

 

動量梯度下降法（Momentum）
 

Adagrad
 

RMSprop
 

Adam
 

Adam那么棒，為什么還對SGD念念不忘 (2)—— Adam的兩宗罪 - 知乎 (zhihu.com)
 

dropout
 

深度學習-Dropout詳解_深度學習dropout-CSDN博客
 

Dropout的深入理解（基礎介紹、模型描述、原理深入、代碼實現以及變種）-CSDN博客
 

一文看盡12種Dropout及其變體-騰訊云開發者社區-騰訊云 (tencent.com)
 

Pytorch——dropout的理解和使用 - Circle_Wang - 博客園 (cnblogs.com)
 

1x1卷積?
 

?(31 封私信 / 80 條消息) 卷積神經網絡中用1*1 卷積有什么作用或者好處呢？ - 知乎 (zhihu.com)
 

深度學習筆記（六）：1x1卷積核的作用歸納和實例分析_1x1卷積降維-CSDN博客
 

 

 

 

 

AlexNet網絡結構詳解（含各層維度大小計算過程）與PyTorch實現-CSDN博客
 

深度學習——VGG16模型詳解-CSDN博客
 

 

 

 
3乘3卷積代替5乘5卷積
 
 

 

經典卷積神經網絡算法(4)：GoogLeNet - 奧辰 - 博客園 (cnblogs.com)
 

 
1x1卷積降維再接3x3卷積
 

 

 

resnet
 

 

兩種ResNet設計
 

 

channel不同怎么相加
 

通過卷積調整
 

ResNet解析-CSDN博客
 

 

(31 封私信 / 80 條消息) resnet（殘差網絡）的F（x）究竟長什么樣子？ - 知乎 (zhihu.com)
 

 

(31 封私信 / 80 條消息) Resnet到底在解決一個什么問題呢？ - 知乎 (zhihu.com)
 

 

殘差連接使梯度穩定
 

 

 

ResNet中的恒等映射是一種直接將輸入添加到輸出的操作方式，確保了信息和梯度可以穩定地傳遞。它通過保持梯度的穩定性，防止了梯度消失和爆炸問題，從而使得訓練非常深的網絡成為可能。
 

 

(31 封私信 / 80 條消息) ResNet為什么不用Dropout? - 知乎 (zhihu.com)
 

 

 

人工智能 - [ResNet系] 002 ResNet-v2 - G時區@深度學習 - SegmentFault 思否
 

DenseNet詳解_densenet網絡-CSDN博客
 

yolo系列
 

YOLO系列算法全家桶——YOLOv1-YOLOv9詳細介紹 ！！-CSDN博客
 

?【YOLO系列】YOLOv1論文超詳細解讀（翻譯 ＋學習筆記）_yolo論文-CSDN博客
 

YOLO系列算法精講：從yolov1至yolov8的進階之路（2萬字超全整理）-CSDN博客
 

NMS
 

 

v2引入anchor
 

 

 

分割
 

計算機視覺—淺談語義分割、實例分割及全景分割任務 （深度學習/圖像處理/計算機視覺）_全景分割和實例分割-CSDN博客
 

【計算機視覺】最全語義分割模型總結（從FCN到deeplabv3+）-CSDN博客
 

目標檢測與YOLO(2) + 語義分割(FCN)_yolo模型和fcn-CSDN博客
 

【yolov8系列】yolov8的目標檢測、實例分割、關節點估計的原理解析-CSDN博客
 

yolo實現實例分割和關鍵點預測，都是在head部分增加新的檢測頭實現
 

 

Bounding-box regression詳解（邊框回歸）_bbox regression-CSDN博客
 

 

反卷積(Deconvolution)、上采樣(UNSampling)與上池化(UnPooling)_反卷積和上采樣-CSDN博客
 

形象解釋：
 

反卷積(Transposed conv deconv)實現原理（通俗易懂）-CSDN博客
 

對深度可分離卷積、分組卷積、擴張卷積、轉置卷積（反卷積）的理解-CSDN博客
 

ShuffleNetV2：輕量級CNN網絡中的桂冠 - 知乎 (zhihu.com)
 

輕量級神經網絡“巡禮”（一）—— ShuffleNetV2 - 知乎 (zhihu.com)
 

(31 封私信 / 80 條消息) 怎么選取訓練神經網絡時的Batch size? - 知乎 (zhihu.com)
 












本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。

如若轉載，請注明出處：http://www.pswp.cn/diannao/43923.shtml


繁體地址，請注明出處：http://hk.pswp.cn/diannao/43923.shtml

英文地址，請注明出處：http://en.pswp.cn/diannao/43923.shtml


如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！











相關文章










VOI（Virtual Operating System Infrastructure，虛擬操作系統基礎架構）








VOI（Virtual Operating System Infrastructure，虛擬操作系統基礎架構）




VOI（Virtual Operating System Infrastructure，虛擬操作系統基礎架構）架構在桌面虛擬化領域具有其獨特的優勢，使得它在某些場景下表現尤為出色。以下是幾個具體場景： 
1. 重載性能需求場景 
表現： 
高效利用…




閱讀更多...

















聚類分析方法（二）








聚類分析方法（二）




目錄 三、層次聚類方法（一）層次聚類策略（二）AGNES算法（三）DIANA算法 四、密度聚類方法（一）基本概念（二）算法描述（三）計算實例&#xf…




閱讀更多...

















Google賬號輸入用戶名和密碼后提醒要到手機通知點是，還要點擊數字，但是我手機收不到








Google賬號輸入用戶名和密碼后提醒要到手機通知點是，還要點擊數字，但是我手機收不到




有一些朋友換了一個新的電腦后手機登錄谷歌賬號時，用戶名和密碼都正確輸入以后，第三步彈出一個提示，要在手機上的通知欄點擊是，并且點擊手機上相應的數字才能繼續登錄。 
但是自己的手機上下拉通知欄卻沒有來自谷歌的通知&#xf…




閱讀更多...

















ADOQuery 查詢MSSQL存儲過程一個莫名其妙的錯誤；








ADOQuery 查詢MSSQL存儲過程一個莫名其妙的錯誤；




在 SSMS 中執行完成正常的的存儲過程。 
也能正常的返回想要的數據，，然后通過 ADO 查詢時，總是提法 某 字段不存在的問題； 
此問題困擾了一天。 
例如（當然，實際數據結構比下面舉例的復雜）&…




閱讀更多...

















C++八股（二）之C++11新特性








C++八股（二）之C++11新特性




一、C++11有什么新特性？? 自動類型推導（Type Inference）：引入了 auto 關鍵字，允許編譯器根據初始化表達式的類型自動推導變量的類型。統一的初始化語法（Uniform Initialization Syntax）：引入了用花括號 {} 進行初始化的統一語法，可以用于初始化各種類型的對象，包括基…




閱讀更多...

















符號同步、定時同步和載波同步








符號同步、定時同步和載波同步




符號同步、定時同步和載波同步是通信系統中重要的同步技術，它們各自承擔著不同的功能和作用。以下是對這三種同步技術的詳細解釋： 
符號同步 
定義： 符號同步，也稱為定時恢復或時鐘恢復，是指在數字通信系統中&#xff…




閱讀更多...

















繼承關系中的訪問控制








繼承關系中的訪問控制




繼承關系中的訪問控制 類中成員的訪問權限類繼承中的訪問權限派生類向基類轉換的權限問題（向上轉型）友元在繼承中的訪問權限 類中成員的訪問權限 
public：類的對象（外部）可以訪問，派生類也可以訪問protecte…




閱讀更多...

















LeNet原理及代碼實現








LeNet原理及代碼實現




目錄 
1.原理及介紹  
2.代碼實現 
2.1model.py 
2.2model_train.py 
2.3model.test.py 1.原理及介紹  2.代碼實現 
2.1model.py 
import torch
from torch import nn
from torchsummary import summaryclass LeNet(nn.Module):def __init__(self):super(LeNet, self).__init__…




閱讀更多...

















nuxt、vue樹形圖d3.js








nuxt、vue樹形圖d3.js




直接上代碼 
//安裝
npm i d3 --save<template><div class"d3"><div :id"id" class"d3-content"></div></div>
</template>
<script>
import * as d3 from "d3";export default {props: {d…




閱讀更多...

















Github Actions 構建Vue3 + Vite項目








Github Actions 構建Vue3 + Vite項目




本篇文章以自己創建的項目為例&#xff0c;用Github Actions構建。 
Github地址&#xff1a;https://github.com/ling08140814/myCarousel  訪問地址&#xff1a;https://ling08140814.github.io/myCarousel/ 
具體步驟&#xff1a; 
1、創建一個Vue3的項目&#xff0c;并完成代…




閱讀更多...

















接口基礎知識1：認識接口








接口基礎知識1：認識接口




課程大綱 一、定義 接口&#xff1a;外部與系統之間、內部各子系統之間的交互點。 比如日常使用的電腦&#xff0c;有電源接口、usb接口、耳機接口、顯示器接口等&#xff0c;分別可以實現&#xff1a;與外部的充電、文件數據傳輸、聲音輸入輸出、圖像輸入輸出等功能。 接口的本…




閱讀更多...

















262個地級市-市場潛力指數（do文件+原始文件）








262個地級市-市場潛力指數（do文件+原始文件）




全國262個地級市-市場潛力指數&#xff08;市場潛力計算方法代碼數據&#xff09;_市場潛力數據分析資源-CSDN文庫 市場潛力指數&#xff1a;洞察未來發展的指南針 
市場潛力指數是一個綜合性的評估工具&#xff0c;它通過深入分析市場需求、競爭環境、政策支持和技術創新等多個…




閱讀更多...

















面向字節流傳輸數據








面向字節流傳輸數據




當提到“傳輸數據面向字節流”&#xff0c;這是指在網絡通信中&#xff0c;數據被視作一連串的無結構字節&#xff0c;而不是按照特定的數據塊或記錄進行傳輸。這種傳輸方式是面向傳輸層協議&#xff08;如TCP&#xff09;的一個特性&#xff0c;它允許數據以連續的字節流形式在…




閱讀更多...

















phpstudy框架，window平臺，如何開端口給局域網訪問？








phpstudy框架，window平臺，如何開端口給局域網訪問？




Windows平臺上使用phpstudy框架開端口給同事訪問&#xff0c;主要涉及到幾個步驟&#xff1a;查看并確認本機IP地址、配置phpstudy及網站項目、開放防火墻端口以及確保同事能夠通過局域網訪問。以下是詳細的步驟說明&#xff1a; 
1. 查看并確認本機IP地址 
首先&#xff0c;需…




閱讀更多...

















SQLAlchemy pool_pre_ping








SQLAlchemy pool_pre_ping




pool_pre_ping 是 SQLAlchemy 中 create_engine 函數的一個參數&#xff0c;它用于配置連接池的行為。當設置為 True 時&#xff0c;pool_pre_ping 啟用了連接池在每次從池中取出&#xff08;即“簽出”或“checkout”&#xff09;連接之前&#xff0c;先測試該連接是否仍然活躍…




閱讀更多...

















（2）滑動窗口算法練習：無重復字符的最長子串








（2）滑動窗口算法練習：無重復字符的最長子串




無重復字符的最長子串 
題目鏈接&#xff1a;3. 無重復字符的最長子串 - 力扣&#xff08;LeetCode&#xff09; 給定一個字符串 s &#xff0c;請你找出其中不含有重復字符的最長子串的長度。 輸入: s  "abcabcbb" 輸出: 3 解釋: 因為無重復字符的最長子串是"a…




閱讀更多...

















mov視頻怎么改成mp4？把mov改成MP4的四個方法








mov視頻怎么改成mp4？把mov改成MP4的四個方法




mov視頻怎么改成mp4&#xff1f;選擇合適的視頻格式對于確保內容質量和流通性至關重要。盡管蘋果公司的mov格式因其出色的視頻表現備受贊譽&#xff0c;但在某些情況下&#xff0c;它并非最佳選擇&#xff0c;因為使用mov格式可能面臨一些挑戰。MP4格式在各種設備&#xff08;如…




閱讀更多...

















構造二進制字符串








構造二進制字符串




目錄 
LeetCode3221 生成不含相鄰零的二進制字符串 #include <iostream>
#include <vector>
using namespace std;void dfs(string s,int n,vector<string>& res){if(s.size()n){res.push_back(s);return;}dfs(s"0",n,res);dfs(s"1"…




閱讀更多...

















使用redis進行短信登錄驗證（驗證碼打印在控制臺）








使用redis進行短信登錄驗證（驗證碼打印在控制臺）




使用redis進行短信登錄驗證 一、流程1. 總體流程圖2. 流程文字講解&#xff1a;3.代碼3.1 UserServiceImpl&#xff1a;&#xff08;難點&#xff09;3.2 攔截器LoginInterceptor&#xff1a;3.3 攔截器配置類&#xff1a; 4 功能實現&#xff0c;成功存入redis &#xff08;黑…




閱讀更多...

















搜維爾科技為空氣分離、氫氣、石化和天然氣工廠的現場操作員提供虛擬現實(VR)培訓








搜維爾科技為空氣分離、氫氣、石化和天然氣工廠的現場操作員提供虛擬現實(VR)培訓




搜維爾科技為空氣分離、氫氣、石化和天然氣工廠的現場操作員提供虛擬現實(VR)培訓 搜維爾科技為空氣分離、氫氣、石化和天然氣工廠的現場操作員提供虛擬現實(VR)培訓




閱讀更多...


















最新文章


















Copyright @ 2022~2023