深度學習之概述

深度學習的應用場景

1、圖像應用:
? ? 1.1 大規模(大數據量)圖片識別(聚類/分類),如人臉識別,車牌識別,OCR等。人臉識別算法:① faceID ② faceNet
? ? 1.2 以圖搜圖,圖像分割
? ? 1.3 目標檢測,如自動駕駛的行人檢測,安防系統的異常人群檢測。目標檢測算法:① faster RCNN ② SSD ③ YOLO(YOLO3)

2、語音識別,語音合成
? ? 2.1 語音識別:① deep speech2 ② DFSMN
? ? 2.2?語音合成:① tactorn2

3、自然語言處理 NLP:
? ? 3.1 自動分詞,句法分析/語義分析、語義角色標注SRL,語法糾錯,關鍵詞提取,文本分類/聚類,文本自動摘要,信息檢索(ES,Solr),信息抽取,網絡爬蟲,情感分析,命名實體識別,問答系統?
? ? ? ? 3.11 自動分詞:
? ? ? ? ? ? ?算法:
? ? ? ? ? ? ?工具:jiagu jieba hanlp
? ? ? ? 3.12 句法分析/語義分析、語義角色標注SRL:
? ? ? ? ? ? (1)句法分析:
? ? ? ? ? ? ? ? 算法:
? ? ? ? ? ? ? ? 工具:hanlp
? ? ? ? ? ? (2)語義分析、語義角色標注SRL:
? ? ? ? ? ? ? ? 算法:
? ? ? ? ? ? ? ? 工具:ltp
? ? ? ? 3.13 語法糾錯:
? ? ? ? 3.14 關鍵詞抽取:
? ? ? ? 3.15 關鍵詞分類:
? ? ? ? 3.16 文本分類、文本聚類:
? ? ? ? ? ? (1)文本分類:
? ? ? ? ? ? (2)文本聚類:
? ? ? ? 3.17 文本自動摘要:
? ? ? ? 3.18 信息檢索:
? ? ? ? 3.19 信息抽取:
? ? ? ? 3.20 情感分析:
? ? ? ? 3.21 命名實體識別:
? ? ? ? ? ? ?算法:
? ? ? ? ? ? ?工具:hanlp
? ? ? ? 3.21 問答系統:
? ? 3.2 知識圖譜,機器翻譯,人機對話,機器寫作?
? ? 3.3 推薦系統,高考機器人

4、數據挖掘,風控系統,推薦系統,廣告系統等 ? ?--------- 機器學習多于深度學習

神經網絡的起源

神經網絡來源之人的思考。

大腦是由處理信息的神經元細胞和連接神經元的細胞進行信息傳遞的突觸構成的。 樹突(Dendrites)從一個神經元接受電信號,信號在細胞核(Cell Body)處理后, 然后通過軸突(Axon)將處理的信號傳遞給下一個神經元。

一個神經元可以看作是將一個或多個輸入處理成一個輸出的計算單元。通過多個神經元的傳遞,最終大腦會得到這個信息, 并可以對這個信息給出一個合適的反饋。

感知器模型--深度學習神經元的前身

感知器是一種模擬人的神經元的一種算法模型,是一種研究單個訓練樣本的二元分類器,是SVM和人工神經網絡(ANN, Artificial Neural Networks)的基礎。

一個感知器接受幾個二級制的輸入,并產生一個二進制的輸出,通常的表達方式如下:

感知器模型直觀理解

感知器可以看作是根據權重來做出決定的一個設備/單元,只要我們可以給定一個比較適合的權重以及閾值,那么感知器應該是能夠對數據進行判斷的/分類預測的。

假定你現在在考慮是否換工作,也許你會考慮一下三個方面的因素:?

  • ? ? 新工作的待遇會提高嗎? ? 權重w1
  • ? ? 你家庭經濟壓力大嗎? ? ? 權重w2
  • ? ? 新工作穩定嗎? ? ? ? ? ?權重w3

結果:w1*x1 + w2*x2 + w3*x3 ?比較 ? ?閾值

多層感知器(人工神經網絡ANN)

將多個感知器進行組合,我們就可以得到一個多層感知器的網絡結構,網絡中的每一個節點我們叫做神經元。

感知器神經元直觀理解之邏輯與?

感知器網絡理解以及S型神經元

其實只要將網絡中的權重或者偏置項稍微的做一點小的改動,都會導致最終的輸出發生一定的變化。但是在感知器神經網絡中,單個感知器上的權重或者偏置項發現一點小的變化,最終的輸出要不不變,要不完全翻轉(因為只有兩種取值-1 和 1),這種翻轉會導致接下來的感知器可能發生復雜的完全沒法控制的變化,這樣會導致我們的網絡很難得到最終的逼近結果。

針對感知器網絡這種很難學習的問題,引入S型神經元來代替感知器。因此:感知器模型 + 非線性連續激活函數來使得網絡賦予非線性因素的方法就誕生了。

從感知器模型中,我們可以將單個神經元的計算過程看成下列兩個步驟:

  • 先計算權重w和輸入值x以及偏置項b之間的線性結果值z:z=wx+b
  • 然后對結果值z進行一個數據的sign函數(變種)轉換,得到一個離散的0/1值:y=int((sign(z)+1)/2)

在S型神經元中,和感知器神經元的區別在于:對于結果值z的轉換,采用的不是sign函數進行轉換,是采用平滑類型的函數進行轉換,讓輸出的結果值y最終是一個連續的,S型神經元轉指使用的是sigmoid函數。

激活函數

激活函數的主要作用是提供網絡的非線性建模能力。如果沒有激活函數,那么該網絡僅能夠表達線性映射,此時即便有再多的隱藏層,其整個網絡跟單層神經網絡也是等價的。因此也可以認為,只有加入了激活函數之后,深度神經網絡才具備了分層的非線性映射學習能力。 激活函數的主要特性是:可微性、單調性、輸出值的范圍;

常見的激活函數:Sign函數、Sigmoid函數、Tanh函數、ReLU函數、P-ReLU函數、Leaky-ReLU函數、ELU函數、Maxout函數等

激活函數之 Sigmoid、tanh、ReLU、ReLU變形和Maxout_fenglepeng的博客-CSDN博客

神經網絡

神經網絡結構

神經網絡主要由三個組成部分,第一個是架構(architecture)或稱為拓撲結構(topology),描述神經元的層次與連接神經元的結構。第二個組成部分是神經網絡使用的激勵/激活函數。第三個組成部分是找出最優權重值的學習算法

神經網絡主要分為兩種類型,前饋神經網絡(Feedforward Neural Networks)是最常用的神經網絡類型,一般定義為有向無環圖,信號只能沿著最終輸出的那個方向傳播。另外一個是反饋神經網絡(Feedback Neural Networks),也稱為遞歸神經網絡(Recurent Neural Networks),也就是網絡中環。

神經網絡之淺層神經網絡

添加少量隱層的神經網絡就叫做淺層神經網絡;也叫作傳統神經網絡,一般為2隱層的神經網絡(超過兩隱層的話,效果會差很多)

神經網絡之深度神經網絡(Deep Neural Networks, DNN)

增多中間層(隱層)的神經網絡就叫做深度神經網絡(DNN);可以認為深度學習是神經網絡的一個發展

神經網絡之非線性可分

對線性分類器的與和或的組合可以完成非線性可分的問題;即通過多層的神經網絡中加入激活函數的方式可以解決非線性可分的問題。

神經網絡之過擬合

理論上來講,單隱層的神經網絡可以逼近任何連續函數(只要隱層的神經元個數足夠的多<一個神經元將數據集分為兩類>)

雖然從數學表達上來講,效果一樣,但是在網絡工程效果中,多隱層的神經網絡效果要比單隱層的神經網絡效果好

對于一些分類的問題來講,三層的神經網絡效果優于兩層的神經網絡,但是如果把層次不斷增加(4,5,6,7....),對于最終的效果不會產生太大的變化

提升隱層層數或者神經元個數,神經網絡的“容量”會變大,那么空間表達能力會變強,(模型的預測能力),從而有可能導致過擬合的問題

對于視頻/圖片識別等問題,傳統的神經網絡(全連接神經網絡)不太適合

神經網絡之DNN問題

一般來講,可以通過增加神經元和網絡層次來提升神經網絡的學習能力,使其得到的模型更加能夠符合數據的分布場景;但是實際應用場景中,神經網絡的層次一般情況不會太大,因為太深的層次有可能產生一些求解的問題。

在DNN的求解中有可能存在兩個問題:梯度消失梯度爆炸;我們在求解梯度的時候會使用到鏈式求導法則,實際上就是一系列的連乘,如果每一層都小于1的話,則梯度越往前乘越小,導致梯度消失,而如果連乘的數字在每層都是大于1的,則梯度越往前乘越大,導致梯度爆炸.

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/454096.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/454096.shtml
英文地址,請注明出處:http://en.pswp.cn/news/454096.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

如何根據對象獲取到對應的表名_Excel VBA 常用對象二

下面繼續講解上一節中未講完的內容&#xff1a;Excel VBA編程中常常使用的那些對象到底是什么&#xff0c;如何在代碼中表示它們。Worksheet對象Worksheet對象代表工作表。工作簿中的每個工作表都是一個Worksheet對象&#xff0c;所有Worksheet對象構成了Worksheets集合。我們使…

PIX525故障一例,求解

IDC機房網絡拓樸如下&#xff1a;IDC核心交換機-----通過一條網線-------機柜D-LNKI交換機------PIX 525------CISCO交換機------各WEB服務器。其中D-LINK交換機的IP為192.168.2.11&#xff0c;也就是下面日志中的IP。另外&#xff0c;之所以IDC和PIX之間再加一臺DLINK是因為有…

gcc教程(轉)

gcc 目 錄 gcc makefile寫法 gcc_egcs使用 gdb使用 gcc常用選項對代碼的影響 一般情況 -O 編譯選項 -O2 編譯選項 -fomit-frame-pointer 編譯選項 -fomit-frame-pointer && -O2 -fPIC 編譯選項 -static 編譯選項 AT&T的匯編格式 x86內聯匯編 簡述 內聯匯編 程序模…

深度學習之 BP 算法

神經網絡的一種求解W的算法&#xff0c;分為信號“正向傳播(FP)”求損失&#xff0c;“反向傳播(BP)”回傳誤差&#xff1b;根據誤差值修改每層的權重&#xff0c;繼續迭代。 BP算法也叫做δ算法。以三層的感知器為例&#xff08;假定現在隱層和輸出層均存在相同類型的激活函數…

python自帶的解釋器叫做_python學習

一、PYTHON中的元素1.基本元素運算符&#xff1a; - * / %等等除法&#xff1a;" / " 表示浮點數除法&#xff0c;返回浮點結果;" // " 表示整數除法,返回不大于結果的一個最大的整數運算順序&#xff1a;先乘除 再加減 括號最優先變量&#xff1a;就是一…

IE打印空白

今天碰到HR經理碰到一個問題&#xff0c;就是windows 7 64位操作系統&#xff0c;但是打印空白&#xff0c;打印出來像白紙一樣&#xff01;經過查看和總結&#xff0c;確認是&#xff1a;由于保護模式下 %Temp%\Low 文件夾工作不正常引起的&#xff01;故障打印白紙下面會出現…

Python Matplotlib.plot Update image Questions

1. 最近在測試一款設備&#xff0c;采集了一些設備后需要一幀一幀顯示圖像&#xff0c;經常使用Python,所以選用了Matplotlib進行圖像操作 數據結構&#xff1a; timesatamp polar_distance horizontal_angle refelectivity_intensity,所有數據類型都是 float&#xff0c;儲存在…

深度學習之 RBF神經網絡

RBF神經網絡通常只有三層&#xff0c;即輸入層、中間層和輸出層。其中中間層主要計算輸入x和樣本矢量c&#xff08;記憶樣本&#xff09;之間的歐式距離的Radial Basis Function (RBF)的值&#xff0c;輸出層對其做一個線性的組合。 徑向基函數&#xff1a; RBF神經網絡的訓練…

redis 隊列_Redis與Rabbitmq消息隊列的區別

將redis發布訂閱模式用做消息隊列和rabbitmq的區別&#xff1a;可靠性 redis &#xff1a;沒有相應的機制保證消息的可靠消費&#xff0c;如果發布者發布一條消息&#xff0c;而沒有對應的訂閱者的話&#xff0c;這條消息將丟失&#xff0c;不會存在內存中&#xff1b;rabbit…

EasyUI中那些不容易被發現的坑——EasyUI重復請求2次的問題

問題控件&#xff1a;datagrid、combobox、所有能設置url屬性的控件 問題版本&#xff1a;1.4.4、1.4.5&#xff08;之前的版本沒測&#xff09; 問題如圖&#xff1a; 重復請求2次&#xff0c;錯誤代碼如圖&#xff1a; 錯誤問題分析&#xff1a;html加載的時候回請求url加載數…

GCC編譯的背后( 預處理和編譯 匯編和鏈接 )

發表于 2010年05月18日 22:01 分類: 編程coding統計: 1評/465閱 2人收藏此文章&#xff0c; 收藏此文章(?)by falcon<zhangjinwgmail.com> 2008-02-22 平時在Linux下寫代碼&#xff0c;直接用"gcc -o out in.c"就把代碼編譯好了&#xff0c;但是這后面到底做了…

ElasticSearch Java API

ElasticSearch-Java Client類型 ElasticSearch-TransportClient環境準備 ElasticSearch-TransportClient連接 ElasticSearch-Document APIs ElasticSearch-搜索-原理 ElasticSearch-搜索-問題 ElasticSearch-搜索-問題解決思路 ElasticSearch-搜索-SearchType-類型一 E…

深度學習之卷積神經網絡(Convolutional Neural Networks, CNN)

前面, 介紹了DNN及其參數求解的方法(深度學習之 BP 算法),我們知道DNN仍然存在很多的問題&#xff0c;其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸.那么,人們又是怎么解決這個問題的呢?本節的卷積神經網絡(Convolutional Neural Networks, CNN)就是一種解決方法. 我們…

Oracle DBA課程系列筆記(16)

第十六章&#xff1a; 用戶管理 1、schema &#xff1a; user.object &#xff0c;用戶認證方式&#xff1a;os 認證&#xff0c;database 認證 2、建立 database認證的用戶&#xff1a; 10:00:48 SQL> create user rose …

python序列是幾維_從一個1維的位數組獲得一個特定的2維的1序列數組[Python] - python...

我正在使用Python&#xff0c;我需要找到執行以下任務的最有效方法。任務&#xff1a;給定零和一的任何一維數組v&#xff0c;用k> 0表示v的所有一維的子序列數。我需要從v獲得一個二維數組w&#xff0c;使得&#xff1a;1)shape(w)(k&#xff0c;len(v))&#xff0c;2)對于…

深度學習之卷積神經網絡(Convolutional Neural Networks, CNN)(二)

前面我們說了CNN的一般層次結構, 每個層的作用及其參數的優缺點等內容.深度學習之卷積神經網絡(Convolutional Neural Networks, CNN)_fenglepeng的博客-CSDN博客 一 CNN參數初始化及參數學習方法 和機器學習很多算法一樣, CNN在進行訓練之前也要進行參數的初始化操作. 我們…

GCC Inline ASM GCC內聯匯編

GCC 支持在C/C代碼中嵌入匯編代碼&#xff0c;這些匯編代碼被稱作GCC Inline ASM——GCC內聯匯編。這是一個非常有用的功能&#xff0c;有利于我們將一些C/C語法無法表達的指令直接潛入C/C代碼中&#xff0c;另外也允許我們直接寫 C/C代碼中使用匯編編寫簡潔高效的代碼。1.基本…

Hadoop1.x版本升級Hadoop2.x

引言 隨著企業數據化和Hadoop的應用越加廣泛&#xff0c;hadoop1.x的框架設計越來越無法滿足人們對需求&#xff0c;Apache一直在對Hadoop1.x進行修改&#xff0c;最后推出了新一代的Hadoop2.x。從業界使用分布式系統的變化趨勢和 hadoop 框架的長遠發展來看&#xff0c;MapRed…

本頁由試用版打印控件lodop6.2.6輸出_Visual Basic 6.0 Sirk 迷你版

Visual Basic 6.0 Sirk 迷你版 VB6 Sirk Mini 2019更新1、支持主流操作系統&#xff0c;避免原版安裝失敗的問題&#xff1a;支持Windows XP、Vista、Win7、Win8、Win10(32位、64位)。2、保留大部分常用功能&#xff0c;避免精簡版過度精簡&#xff1a;包含原版完整控件&#x…

深度學習之卷積神經網絡 LeNet

卷積神經網絡典型CNN LeNet&#xff1a;最早用于數字識別的CNNLeNet5&#xff1a;現在常說的一般就是LeNet5AlexNet&#xff1a;2012ILSVRC冠軍&#xff0c;遠超第二名的CNN&#xff0c;比LeNet更深&#xff0c;用多層小卷積疊加來替換單個的大卷積ZF Net&#xff1a;2013ILSV…