人工神經元(Artificial Neuron)，簡稱神經元(Neuron)，是構成神經網絡的基本單元，其主要是模擬生物神經元的結構和特性，接收一組輸入信號并產生輸出。

生物學家在 20 世紀初就發現了生物神經元的結構。一個生物神經元通常具有多個樹突和一條軸突。樹突用來接收信息，軸突用來發送信息。當神經元所獲得的輸入信號的積累超過某個閾值時，它就處于興奮狀態，產生電脈沖。軸突尾端有許多末梢可以給其他神經元的樹突產生連接(突觸)，并將電脈沖信號傳遞 給其他神經元。

一、生物學角度（生物神經元：靈感來源）

• 定義：
  神經元是生物神經系統（如大腦）中的基本信息處理單元。它們通過樹突接收來自其他神經元的信號，通過軸突傳遞信號，并在突觸處與其他神經元進行化學或電的交流。

• 工作機制：
  生物神經元具有以下幾個主要部分：

  • 樹突（Dendrites）：接收外部輸入信號。
  • 細胞體（Soma）：整合輸入信號，當總輸入超過一定閾值時，觸發動作電位。
  • 軸突（Axon）：傳遞產生的電信號到下一個神經元。
  • 突觸（Synapse）：神經元之間的連接部位，通過神經遞質傳遞信號。

二、神經元模型（人工神經元）

• 概念：
  人工神經元是對生物神經元的一種數學抽象和簡化，用于構建人工神經網絡。它模仿生物神經元的基本工作原理，但結構和計算方式大大簡化。
• 常見模型：
  一個典型的人工神經元模型包括：
  • 輸入信號：來自其他神經元或外部數據，通常表示為一個向量 x。
  • 權重：與每個輸入關聯的數值 w，表示輸入的重要性。
  • 加權求和：計算 z = w^T x + b，其中 b 是偏置項。
  • 激活函數：將 z?通過一個非線性函數（如 Sigmoid、ReLU、Tanh 等）轉換為輸出 a。
  數學上，人工神經元的輸出為：, 這里 ??就是激活函數。

• 一個典型的神經元結構示例：

三、神經元與神經元模型的關系

• 抽象與簡化：
  神經元模型是對真實生物神經元行為的一種抽象與簡化。生物神經元的復雜結構和生理機制被歸納為輸入、加權求和、非線性激活三個基本步驟。這種簡化使得我們能夠在計算機上構建和訓練大型神經網絡。

• 啟發與模擬：
  雖然生物神經元的實際工作方式比人工神經元復雜得多（涉及大量的生物化學過程），但人工神經元模型依然保留了關鍵信息處理機制，即將多個輸入通過加權求和后，通過激活函數產生輸出。這樣的機制使得神經網絡能夠模擬生物神經系統的信息傳遞和處理過程，進而在模式識別、分類、回歸等任務中表現出強大的學習能力。

• 層次構建：
  單個神經元模型雖然簡單，但將大量的神經元按照一定的拓撲結構（如前饋網絡、卷積網絡、循環網絡等）組合在一起，就可以構建出功能強大的神經網絡。這種層次化結構正是源自于生物神經網絡的組織方式。

四、激活函數

常用的激活函數包括：

激活函數的作用是使得神經元能夠處理復雜的非線性關系，否則如果沒有激活函數，多層網絡只會堆疊線性變換，其整體仍是線性的。

五、MP 神經元

“MP 神經元”通常指的是 McCulloch-Pitts 神經元，這是人工神經網絡領域中最早的神經元模型之一，由沃爾特·麥卡洛克（W. McCulloch）和沃倫·皮茨（W. Pitts）于 1943 年提出。

1. 基本概念

• 模型簡介
  McCulloch-Pitts 神經元（簡稱 MP 神經元）是一種數學模型，用于模擬生物神經元的基本功能。它將神經元看作一個“閾值邏輯單元”，輸入是二進制的（或離散值），輸出也通常是二進制的。

• 工作原理
  MP 神經元接收多個輸入信號，每個輸入信號都有一個對應的權重。神經元計算所有輸入信號的加權和，并將這個和與一個預定的閾值進行比較：

  • 如果加權和大于或等于閾值，神經元輸出 1（激活）；
  • 如果加權和小于閾值，神經元輸出 0（不激活）。

2. 數學描述

3. 直觀理解

• 簡化的決策單元：
  MP 神經元把復雜的生物神經元簡化為一個基本的“開/關”設備。當輸入達到一定水平時，就“開”——輸出1；否則，“關”——輸出0。

• 邏輯運算：
  MP 神經元可以用來實現基本的邏輯運算，例如 AND、OR 和 NOT 等。多個 MP 神經元可以組合起來形成更復雜的邏輯電路，奠定了后續人工神經網絡的基礎。

4. 舉例說明

例子1：實現邏輯與（AND）運算

例子2：實現邏輯或（OR）運算

5. 總結

• 生物神經元啟發：
  MP 神經元受生物神經元啟發，將神經元簡化為一個閾值邏輯單元。

• 數學模型：
  它通過加權求和和閾值判斷來實現基本的邏輯運算。

• 在神經網絡中的作用：
  MP 神經元是人工神經網絡的基礎單元，雖然現代神經網絡在表達能力和復雜度上遠超過 MP 神經元，但它為后來的模型（如感知器、多層感知器和深度網絡）的發展奠定了理論基礎。

六、神經元應用舉例

例子1：感知器（Perceptron）

• 模型描述：
  
• 直觀理解：
  這個模型可以看作是一把“尺子”，它測量輸入點在某個方向上的投影，并根據是否超過某個閾值（這里是0）來進行分類。感知器就是最簡單的神經元模型，通過線性組合和閾值判斷完成基本的決策。

例子2：Sigmoid神經元

• 模型描述：
• 直觀理解：
  這種神經元將輸入加權求和后，通過一個S型曲線將結果映射到0到1之間，使其更適合用于二分類問題中表示樣本屬于某一類別的概率。例如，在邏輯回歸中，我們利用這種神經元來預測樣本屬于正類的概率。