線性方法->多層感知機（MLP）

一個全連接（線性、dense）層有參數$W\in {\mathbb{R}}^{m?n}$,$b\in {\mathbb{R}}^m$，其用于計算輸出$y=Wx+b\in {\mathbb{R}}^m$

1. 線性回歸：全連接層有1個輸出
2. softmax 回歸：全連接層有m個輸出+softmax
3. 

MLP

• 激活函數是一個按元素的非線性函數
  $sigmoid(x)=\frac{1}{1+exp(?x)}$
  $ReLU(x)=max(x,0)$
  有一個隱藏層的多層感知機（黃色dense層）
  

有一個隱藏層的MLP
超參數：num_hiddens

def relu(X):return torch.max(X,0)
W1 = nn.Parameter(torch.randn(num_inputs,num_hiddens)*0.01)
b1 = nn.Parameter(torch.zeros(num_hiddens))
W2 = nn.Parameter(torch.randn(num_hiddens,num_outputs)*0.01)
b2 = nn.Parameter(torch.zeros(num_outputs))H = relu(X @ W1 + b1)
Y = H @ W2 + b2