一、概念

激活函數顧名思義，就是一種可以給神經網絡注入靈魂的一種方法，也可以稱之為激活層。其計算就是將線性的函數轉變為非線性函數的過程，只有這樣，我們制作的深層神經網絡才能無限逼近真實值。
自神經網絡發展到目前為止，已經出現了很多種激活函數。應用多的包括ReLU,Sigmoid,Tanh,Softmax等，都有各自的優缺點，Sigmoid和Tanh都存在梯度爆炸和梯度消失的問題，RELU的收斂速度快，但是存在Dead ReLU Problem，我們可以再pytorch官網去查看詳細的介紹，這里就不做過多介紹，只用簡單的例子做下demo。

Softmax的公式：

二、Pytorch示例

import torch
import torchvision.datasets
from torch import nn
from torch.nn import ReLU, Sigmoid, Tanh, Softmax
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("../dataset", train=False, download=True,transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset, batch_size=64)class Wzh(nn.Module):def __init__(self):super(Wzh, self).__init__()self.relu1 = ReLU()self.sigmoid1 = Sigmoid()self.tanh1 = Tanh()self.Softmax1 = Softmax()def forward(self, input):output = self.Softmax1(input)return outputwzh = Wzh()
w = SummaryWriter("Softmax")
i = 0
for data in dataloader:imgs, targets = dataoutput1 = wzh(imgs)w.add_images("input", imgs, i)w.add_images("output", output1, i)i = i + 1w.close()

運行上面的小demo，我們可以分別得到不同的激活函數的圖像效果。
原圖：

Relu: 目前使用最多的激活函數，可以看出來，和原圖沒有變化。

sigmond: 由于輸出在[0,1] 之間，所以圖像整體會變暗。

tanh: 會稍微變暗。

softmax: 經過激活函數變換，只能看出輪廓。