KNN DNN SVM DL BP DBN RBF CNN RNN ANN

概述

本文主要介紹了當前常用的神經網絡，這些神經網絡主要有哪些用途，以及各種神經網絡的優點和局限性。

1 BP神經網絡

BP (Back Propagation)神經網絡是一種神經網絡學習算法。其由輸入層、中間層、輸出層組成的階層型神經網絡，中間層可擴展為多層。相鄰層之間各神經元進行全連接，而每層各神經元之間無連接，網絡按有教師示教的方式進行學習，當一對學習模式提供給網絡后，各神經元獲得網絡的輸入響應產生連接權值（Weight）。然后按減小希望輸出與實際輸出誤差的方向，從輸出層經各中間層逐層修正各連接權，回到輸入層。此過程反復交替進行，直至網絡的全局誤差趨向給定的極小值，即完成學習的過程。

????初始權值閾值的確定：所以權值及閾值的初始值應選為均勻分布的小數經驗

值，約為（-2.4/F~2.4/F）之間，其中F?為所連單元的輸入層節點數

?1.1?主要功能

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網絡以逼近一個函數。

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來。

（3）分類：把輸入向量所定義的合適方式進行分類。

（4）數據壓縮：減少輸出向量維數以便傳輸或存儲。

1.2?優點及其局限性

BP神經網絡最主要的優點是具有極強的非線性映射能力。理論上，對于一個三層和三層以上的BP網絡，只要隱層神經元數目足夠多，該網絡就能以任意精度逼近一個非線性函數。其次，BP神經網絡具有對外界刺激和輸入信息進行聯想記憶的能力。這是因為它采用了分布并行的信息處理方式，對信息的提取必須采用聯想的方式，才能將相關神經元全部調動起來。BP?神經網絡通過預先存儲信息和學習機制進行自適應訓練，可以從不完整的信息和噪聲干擾中恢復原始的完整信息。這種能力使其在圖像復原、語言處理、模式識別等方面具有重要應用。再次，BP?神經網絡對外界輸入樣本有很強的識別與分類能力。由于它具有強大的非線性處理能力，因此可以較好地進行非線性分類,?解決了神經網絡發展史上的非線性分類難題。另外，?BP?神經網絡具有優化計算能力。BP神經網絡本質上是一個非線性優化問題,?它可以在已知的約束條件下，尋找一組參數組合，使該組合確定的目標函數達到最小。不過，其優化計算存在局部極小問題，必須通過改進完善。

由于BP網絡訓練中穩定性要求學習效率很小，所以梯度下降法使得訓練很慢。動量法因為學習率的提高通常比單純的梯度下降法要快一些，但在實際應用中還是速度不夠，這兩種方法通常只應用于遞增訓練。

多層神經網絡可以應用于線性系統和非線性系統中，對于任意函數模擬逼近。當然，感知器和線性神經網絡能夠解決這類網絡問題。但是，雖然理論上是可行的，但實際上BP網絡并不一定總能有解。

對于非線性系統，選擇合適的學習率是一個重要的問題。在線性網絡中，學習率過大會導致訓練過程不穩定。相反，學習率過小又會造成訓練時間過長。和線性網絡不同，對于非線性多層網絡很難選擇很好的學習率。對那些快速訓練算法，缺省參數值基本上都是最有效的設置。

非線性網絡的誤差面比線性網絡的誤差面復雜得多，問題在于多層網絡中非線性傳遞函數有多個局部最優解。尋優的過程與初始點的選擇關系很大，初始點如果更靠近局部最優點，而不是全局最優點，就不會得到正確的結果，這也是多層網絡無法得到最優解的一個原因。為了解決這個問題，在實際訓練過程中，應重復選取多個初始點進行訓練，以保證訓練結果的全局最優性。

網絡隱層神經元的數目也對網絡有一定的影響。神經元數目太少會造成網絡的不適性，而神經元數目太多又會引起網絡的過適性。

2 RBF（徑向基）神經網絡

????徑向基函數(RBF-Radial Basis Function)神經網絡是由J.Moody和C.Darken在80年代末提出的一種神經網絡,它是具有單隱層的三層前饋網絡。由于它模擬了人腦中局部調整、相互覆蓋接收域（或稱感受野-Receptive Field）的神經網絡結構，因此，RBF網絡是一種局部逼近網絡，它能夠以任意精度逼近任意連續函數，特別適合于解決分類問題。

?

2.1?主要功能

圖像處理，語音識別，時間系列預測，雷達原點定位，醫療診斷，錯誤處理檢測，模式識別等。RBF網絡用得最多之處是用于分類，在分類之中，最廣的還是模式識別問題，次之是時間序列分析問題。

?

2.2?優點及其局限性

（一）?優點：

神經網絡有很強的非線性擬合能力，可映射任意復雜的非線性關系，而且學習規則簡單，便于計算機實現。具有很強的魯棒性、記憶能力、非線性映射能力以及強大的自學習能力，因此有很大的應用市場。

?①它具有唯一最佳逼近的特性，且無局部極小問題存在。

②????RBF神經網絡具有較強的輸入和輸出映射功能，并且理論證明在前向網?????絡中RBF網絡是完成映射功能的最優網絡。

③????網絡連接權值與輸出呈線性關系。

④????分類能力好。

⑤????學習過程收斂速度快

（二）局限性：

①????最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。

②????不能向用戶提出必要的詢問，而且當數據不充分的時候，神經網絡就無法進行工作。

③????把一切問題的特征都變為數字，把一切推理都變為數值計算，其結果勢必是丟失信息。

④????理論和學習算法還有待于進一步完善和提高。

⑤????隱層基函數的中心是在輸入樣本集中選取的,?這在許多情況下難以反映出系統真正的輸入輸出關系,?并且初始中心點數太多;?另外優選過程會出現數據病態現象。

3?感知器神經網絡

?????是一個具有單層計算神經元的神經網絡，網絡的傳遞函數是線性閾值單元。原始的感知器神經網絡只有一個神經元。主要用來模擬人腦的感知特征，由于采取閾值單元作為傳遞函數，所以只能輸出兩個值，適合簡單的模式分類問題。當感知器用于兩類模式分類時，相當于在高維樣本空間用一個超平面將兩類樣本分開，但是單層感知器只能處理線性問題，對于非線性或者線性不可分問題無能為力。假設p是輸入向量，w是權值矩陣向量，b為閾值向量，由于其傳遞函數是閾值單元，也就是所謂的硬限幅函數，那么感知器的決策邊界就是wp+b，當wp+b>=0時，判定類別1，否則判定為類別2。

3.1?主要功能

主要用于分類。

3.2?優點及其局限性

感知器模型簡單易于實現，缺點是僅能解決線性可分問題。解決線性不可分問題途徑：一是采用多層感知器模型，二是選擇功能更加強大的神經網絡模型。

4?線性神經網絡

線性神經網絡是比較簡單的一種神經網絡，由一個或者多個線性神經元構成。采用線性函數作為傳遞函數，所以輸出可以是任意值。線性神經網絡可以采用基于最小二乘LMS的Widrow－Hoff學習規則調節網絡的權值和閾值，和感知器一樣，線性神經網絡只能處理反應輸入輸出樣本向量空間的線性映射關系，也只能處理線性可分問題。目前線性神經網絡在函數擬合、信號濾波、預測、控制等方面有廣泛的應用。線性神經網絡和感知器網絡不同，它的傳遞函數是線性函數，輸入和輸出之間是簡單的純比例關系，而且神經元的個數可以是多個。只有一個神經元的線性神經網絡僅僅在傳遞函數上和感知器不同，前者是線性函數的傳遞函數，后者是閾值單元的傳遞函數，僅此而已。

4.1?主要功能

（1）線性預測；

（2）自適應濾波噪聲抵消；

（3）自適應濾波系統辨識；

4.2優點及其局限性

線性神經網絡只能反應輸入和輸出樣本向量空間的線性映射關系。由于線性神經網絡的誤差曲面是一個多維拋物面，所以在學習速率足夠小的情況下，對于基于最小二乘梯度下降原理進行訓練的神經網絡總是可以找到一個最優解。盡管如此，對線性神經網絡的訓練并不能一定總能達到零誤差。線性神經網絡的訓練性能要受到網絡規模、訓練集大小的限制。若神經網絡的自由度（所有權值和閾值的總個數）小于樣本空間中輸入－輸出向量的個數，而且各樣本向量線性無關，則網絡不可能達到零誤差，只能得到一個使得網絡的誤差最小的解。反之，如果網絡的自由度大于樣本集的個數，則會得到無窮多個可以使得網絡誤差為零的解。

另外對超定系統、不定系統、線性相關向量的情況還有一些其他的限制。

5自組織神經網絡

在生物神經細胞中存在一種特征敏感細胞，這種細胞只對外界信號刺激的某一特征敏感，并且這種特征是通過自學習形成的。在人腦的腦皮層中，對于外界信號刺激的感知和處理是分區進行的，有學者認為，腦皮層通過鄰近神經細胞的相互競爭學習，自適應的發展稱為對不同性質的信號敏感的區域。根據這一特征現象，芬蘭學者Kohonen提出了自組織特征映射神經網絡模型。他認為一個神經網絡在接受外界輸入模式時，會自適應的對輸入信號的特征進行學習，進而自組織成不同的區域，并且在各個區域對輸入模式具有不同的響應特征。在輸出空間中，這些神經元將形成一張映射圖，映射圖中功能相同的神經元靠的比較近，功能不同的神經元分的比較開，自組織特征映射網絡也是因此得名。

自組織映射過程是通過競爭學習完成的。所謂競爭學習是指同一層神經元之間相互競爭，競爭勝利的神經元修改與其連接的連接權值的過程。競爭學習是一種無監督學習方法，在學習過程中，只需要向網絡提供一些學習樣本，而無需提供理想的目標輸出，網絡根據輸入樣本的特性進行自組織映射，從而對樣本進行自動排序和分類。

自組織神經網絡包括自組織競爭網絡、自組織特征映射網絡、學習向量量化等網絡結構形式。

5.1?自組織競爭網絡

競爭學習網絡的結構：假設網絡輸入為R維，輸出為S個，典型的競爭學習網絡由隱層和競爭層組成，與徑向基函數網絡的神經網絡模型相比，不同的就是競爭傳遞函數的輸入是輸入向量p與神經元權值向量w之間的距離取負以后和閾值向量b的和，即ni=-||wi-p||+bi。網絡的輸出由競爭層各神經元的輸出組成，除了在競爭中獲勝的神經元以外，其余的神經元的輸出都是0，競爭傳遞函數輸入向量中最大元素對應的神經元是競爭的獲勝者，其輸出固定是1。

競爭學習網絡的訓練：競爭學習網絡依據Kohonen學習規則和閾值學習規則進行訓練，競爭網絡每進行一步學習，權值向量與當前輸入向量最為接近的神經元將在競爭中獲勝，網絡依據Kohonen準則對這個神經元的權值進行調整。假設競爭層中第i個神經元獲勝，其權值向量Wi將修改為：Wi(k)=Wi(k-1)-alpha*(p(k)-Wi(k-1))。按照這一規則，修改后的神經元權值向量將更加接近當前的輸入。經過這樣調整以后，當下一此網絡輸入類似的向量時，這一神經元就很有可能在競爭中獲勝，如果輸入向量與該神經元的權值向量相差很大，則該神經元極有可能落敗。隨著訓練的進行，網絡中的每一個節點將代表一類近似的向量，當接受某一類向量的輸入時，對應類別的神經元將在競爭中獲勝，從而網絡就具備了分類功能。

5.2?自組織特征映射網絡

自組織特征映射網絡SOFM的構造時基于人類大腦皮質層的模仿。在人腦的腦皮層中，對外界信號刺激的感知和處理是分區進行的，因此自組織特征映射網絡不僅僅要對不同的信號產生不同的響應，即與競爭學習網絡一樣具有分類功能。而且還要實現功能相同的神經元在空間分布上的聚集。因此自組織特征映射網絡在訓練時除了要對獲勝的神經元的權值進行調整之外，還要對獲勝神經元鄰域內所有的神經元進行權值修正，從而使得相近的神經元具有相同的功能。自組織特征映射網絡的結構域競爭學習網絡的結構完全相同，只是學習算法有所區別而已。

穩定時，每一鄰域的所有節點對某種輸入具有類似的輸出，并且這聚類的概率分布與輸入模式的概率分布相接近。

5.3?學習向量量化網絡

學習向量量化網絡由一個競爭層和一個線性層組成，競爭層的作用仍然是分類，但是競爭層首先將輸入向量劃分為比較精細的子類別，然后在線性層將競爭層的分類結果進行合并，從而形成符合用戶定義的目標分類模式，因此線性層的神經元個數肯定比競爭層的神經元的個數要少。

學習向量量化網絡的訓練：學習向量量化網絡在建立的時候，競爭層和線性層之間的連接權重矩陣就已經確定了。如果競爭層的某一神經元對應的向量子類別屬于線性層的某個神經元所對應的類別，則這兩個神經元之間的連接權值等于1，否則兩者之間的連接權值為0，這樣的權值矩陣就實現了子類別到目標類別的合并。根據這一原則，競爭層和線性層之間的連接權重矩陣的每一列除了一個元素為1之外，其余元素都是0。1在該列中的位置表示了競爭層所確定的子類別屬于哪一種目標類別（列中的每一個位置分別表示一種目標類別）。在建立網絡時，每一類數據占數據總數的百分比是已知的，這個比例恰恰就是競爭層神經元歸并到線性層各個輸出時所依據的比例。由于競爭層和線性層之間的連接權重矩陣是事先確定的，所以在網絡訓練的時候只需要調整競爭層的權值矩陣。

5.4?主要功能

特別適合于解決模式分類和識別方面的應用問題。

5.5?優點及其局限性

SOFM網絡（自組織特征映射網絡）的最大優點是網絡輸出層引入了拓撲結構，從而實現了對生物神經網絡競爭過程的模擬。

LVQ網絡（學習向量量化網路）則在競爭學習的基礎山引入了有監督的學習算法，被認為是SOFM算法的擴展形式。

常用的結合方法是，將學習向量算法作為自組織映射算法的補充，在輸出層應用具有拓撲結構的自組織映射網絡結構，一次采用自組織映射學習算法和學習矢量量化算法對網絡進行兩次訓練。

6?反饋神經網絡

前面介紹的網絡都是前向網絡，實際應用中還有另外一種網絡——反饋網絡。在反饋網絡中，信息在前向傳遞的同時還要進行反向傳遞，這種信息的反饋可以發生在不同網絡層的神經元之間，也可以只局限于某一層神經元上。由于反饋網絡屬于動態網絡，只有滿足了穩定條件，網絡才能在工作了一段時間之后達到穩定狀態。反饋網絡的典型代表是Elman網絡和Hopfield網絡。

6.1 Elman神經網絡

Elman網絡由若干個隱層和輸出層構成，并且在隱層存在反饋環節，隱層神經元采用正切sigmoid型函數作為傳遞函數，輸出層神經元傳遞函數為純線性函數，當隱層神經元足夠多的時候，Elman網絡可以保證網絡以任意精度逼近任意非線性函數。

6.2 Hopfield網絡

Hopfield網絡主要用于聯想記憶和優化計算。聯想記憶是指當網絡輸入某一個向量之后，網絡經過反饋演化，從網絡的輸出端得到另外一個向量，這樣輸出向量稱為網絡從初始輸入向量聯想得到的一個穩定的記憶，也就是網絡的一個平衡點。優化計算是指某一問題存在多個解法的時候，可以設計一個目標函數，然后尋求滿足折椅目標的最優解法。例如在很多情況下可以把能量函數看作是目標函數，得到最優解法需要使得能量函數達到極小值，也就是所謂的能量函數的穩定平衡點。總之，Hopfield網絡的設計思想就是在初始輸入下，使得網絡經過反饋計算，最后達到穩定狀態，這時候的輸出就是用戶需要的平衡點。

6.3?主要應用

Elman網絡主要用于信號檢測和預測方面，Hopfield網絡主要用于聯想記憶、聚類以及優化計算等方面。

6.4?優點及其局限性

（一）Hopfield神經網絡

對于Hopfield神經網絡而言,?都存在以下問題:

(1)在具體神經網絡實現中要保證連接權矩陣是對稱的;

(2)在實際的神經網絡實現中,?總會存在信息的傳輸延遲,?這些延遲對神經網絡的特性有影響。

(3)神經網絡實現中的規模問題,?即集成度問題。

（二）Elman神經網絡

Elman神經網絡模型與其他神經網絡模型一樣，具有輸入層、隱層和輸出層，具有學習期和工作期，因此具有自組織、自學習的特征。另外，由于在Elman神經網絡模型中增加了隱層及輸出層節點的反饋，因而更進一步地增強了網絡學習的精確性和容錯性。

?

利用Elman神經網絡建立的網絡模型，對具有非線性時間序列特征的其它應用領域都具有較好地應用前景，它具有較強的魯棒性、良好的泛化能力、較強的通用性和客觀性，充分顯示出神經網絡方法的優越性和合理性，這種神經網絡方法在其它領域預測和評價方面的使用將具有較好的實際應用價值。

?

7.其它：

收集了一些資料，還有另一個版本，有重疊：