1. 一個神經元的結構：即接受多個輸入X向量，在一個權重向量W和一個偏執標量b的作用下，經過激活函數后，產生一個輸出。
2. 一層神經網絡的結構：該層網絡里的每個神經元并行計算，得到各自的輸出;計算方式是輸入向量X，在權重矩陣W和偏置向量B的作用下，經過激活函數，產生n個輸出（輸出是一個向量）
3. 多次神經網絡的結構：由輸入層，隱層，輸出層組成，每一層的輸出結構是由上一層的線性變換和激活函數得到。
4. 為什么要引入激活函數？因為如果不引入激活函數，多層神經網絡會塌縮成一層神經網絡，如下圖示意，神經網絡每層都是線性變換，最終多層網絡的結果只相當于一層網絡。
? ? ?
5. 激活函數有哪些？
6. 輸出層：分為線性輸出層（用于回歸問題，預測連續的值）；以及Sigmoid輸出層（用于二分類問題，預測輸入屬于某個類的概率）；和Softmax輸出層（用于多分類問題，預測輸入屬于某個類的概率，有多少個分類就有多少個輸出）
![[筆記] 高等數學在各工程門類的典型應用場景](http://pic.xiahunao.cn/[筆記] 高等數學在各工程門類的典型應用場景)
)