1. 流程

1. 整理訓練數據 使用CIFAR10數據集

train_data = torchvision.datasets.CIFAR10(root='./dataset', train=True, transform=torchvision.transforms.ToTensor(),download=True)

2. 搭建網絡結構

model.py

3. 構建損失函數

loss_fn = nn.CrossEntropyLoss()

4. 使用優化器

learing_rate = 1e-2 # 0.01
optimizer = torch.optim.SGD(net.parameters(), lr=learing_rate)

5. 訓練模型

output = net(imgs)    # 數據輸入模型
loss = loss_fn(output, targets)  # 損失函數計算損失 看計算的輸出和真實的標簽誤差是多少
# 優化器開始優化模型  1.梯度清零  2.反向傳播  3.參數優化
optimizer.zero_grad()  # 利用優化器把梯度清零 全部設置為0
loss.backward()        # 設置計算的損失值的鉤子，調用損失的反向傳播，計算每個參數結點的參數
optimizer.step()       # 調用優化器的step()方法 對其中的參數進行優化  

6. 測試數據 計算模型預測正確率

output = net(imags)
# 計算測試集的正確率
preds = (output.argmax(1)==targets).sum()
accuracy += preds 
rate = accuracy/len(test_data)

調用模型輸出tensor 數據類型的 argmax方法， argmax或獲取一行或者一列數值中最大數值的下標位置，argmax(0) 是從列的維度取一列數值的最大值的下標，argmax(1) 是從行的維度取一行數值的最大值的下標
output.argmax(1)==targets 會輸出如下圖最后一行 [false, ture]， 對應位置相同則為true，對應位置不同則為false；
調用sum()方法，計算求和，false值為0，true值為1.
最后計算得出測試集整體正確率： rate = accuracy/len(test_data)

7. 保存模型

torch.save(net, './net_epoch{}.pth'.format(i))

2. 代碼

1. model.py

import torch
from torch import nn# 2. 搭建模型網絡結構--神經網絡
class Cifar10Net(nn.Module):def __init__(self):super(Cifar10Net, self).__init__()self.net = nn.Sequential(nn.Conv2d(in_channels=3, out_channels=32, kernel_size=5, stride=1, padding=2),nn.MaxPool2d(kernel_size=2),nn.Conv2d(32, 32, 5, 1, 2),nn.MaxPool2d(kernel_size=2),nn.Conv2d(32, 64, 5, 1, 2),nn.MaxPool2d(kernel_size=2),nn.Flatten(),nn.Linear(64*4*4, 64),nn.Linear(64, 10))def forward(self, x):x = self.net(x)return xif __name__ == '__main__':net = Cifar10Net()input = torch.ones((64, 3, 32, 32))output = net(input)print(output.shape)

2. train.py

import torch
import torchvision
from torch import nn
from torch.utils.tensorboard import SummaryWriterfrom p24_model import *# 1. 準備數據集
# 訓練數據
from torch.utils.data import DataLoadertrain_data = torchvision.datasets.CIFAR10(root='./dataset', train=True, transform=torchvision.transforms.ToTensor(),download=True)
# 測試數據
test_data = torchvision.datasets.CIFAR10(root='./dataset', train=False, transform=torchvision.transforms.ToTensor(),download=True)# 查看數據大小--size
print("訓練數據集大小：", len(train_data))
print("測試數據集大小：", len(test_data))
# 利用DataLoader來加載數據集
train_loader = DataLoader(dataset=train_data, batch_size=64)
test_loader = DataLoader(dataset=test_data, batch_size=64)# 2. 導入模型結構 創建模型
net = Cifar10Net()# 3. 創建損失函數  分類問題--交叉熵
loss_fn = nn.CrossEntropyLoss()# 4. 創建優化器
# learing_rate = 0.01
# 1e-2 = 1 * 10^(-2) = 0.01
learing_rate = 1e-2
print(learing_rate)
optimizer = torch.optim.SGD(net.parameters(), lr=learing_rate)# 設置訓練網絡的一些參數
epoch = 10   # 記錄訓練的輪數
total_train_step = 0  # 記錄訓練的次數
total_test_step = 0   # 記錄測試的次數# 利用tensorboard顯示訓練loss趨勢
writer = SummaryWriter('./train_logs')for i in range(epoch):# 訓練步驟開始net.train()  # 可以加可以不加  只有當模型結構有 Dropout BatchNorml層才會起作用for data in train_loader:imgs, targets = data  # 獲取數據output = net(imgs)    # 數據輸入模型loss = loss_fn(output, targets)  # 損失函數計算損失 看計算的輸出和真實的標簽誤差是多少# 優化器開始優化模型  1.梯度清零  2.反向傳播  3.參數優化optimizer.zero_grad()  # 利用優化器把梯度清零 全部設置為0loss.backward()        # 設置計算的損失值，調用損失的反向傳播，計算每個參數結點的參數optimizer.step()       # 調用優化器的step()方法 對其中的參數進行優化# 優化一次 認為訓練了一次total_train_step += 1if total_train_step % 100 == 0:print('訓練次數： {}   loss： {}'.format(total_train_step, loss))# 直接打印loss是tensor數據類型，打印loss.item()是打印的int或float真實數值， 真實數值方便做數據可視化【損失可視化】# print('訓練次數： {}   loss： {}'.format(total_train_step, loss.item()))writer.add_scalar('train-loss', loss.item(), global_step=total_train_step)# 利用現有模型做模型測試# 測試步驟開始total_test_loss = 0accuracy = 0net.eval()  # 可以加可以不加  只有當模型結構有 Dropout BatchNorml層才會起作用with torch.no_grad():for data in test_loader:imags, targets = dataoutput = net(imags)loss = loss_fn(output, targets)total_test_loss += loss.item()# 計算測試集的正確率preds = (output.argmax(1)==targets).sum()accuracy += preds# writer.add_scalar('test-loss', total_test_loss, global_step=i+1)writer.add_scalar('test-loss', total_test_loss, global_step=total_test_step)writer.add_scalar('test-accracy', accuracy/len(test_data), total_test_step)total_test_step += 1print("---------test loss: {}--------------".format(total_test_loss))print("---------test accuracy: {}--------------".format(accuracy))# 保存每一個epoch訓練得到的模型torch.save(net, './net_epoch{}.pth'.format(i))writer.close()

3. 結果

訓練數據集大小： 50000
測試數據集大小： 10000
0.01
訓練次數： 100   loss： 2.2905373573303223
訓練次數： 200   loss： 2.2878968715667725
訓練次數： 300   loss： 2.258394718170166
訓練次數： 400   loss： 2.1968581676483154
訓練次數： 500   loss： 2.0476632118225098
訓練次數： 600   loss： 2.002145767211914
訓練次數： 700   loss： 2.016021728515625
---------test loss: 316.382279753685--------------
訓練次數： 800   loss： 1.8957302570343018
訓練次數： 900   loss： 1.8659226894378662
訓練次數： 1000   loss： 1.9004186391830444
訓練次數： 1100   loss： 1.9708642959594727
......

tensorboard結果

安裝tensorboard運行環境

pip install tensorboard
pip install opencv-python
pip install six
tensorboard --logdir=train_logs

以下圖片 顏色較淺的線是真實計算的值，顏色較深的線是做了平滑處理的值

訓練loss

測試loss

測試集正確率

4. 需要注意的細節

https://pytorch.org/docs/stable/generated/torch.nn.Module.html#torch.nn.Module

所有網絡層繼承于torch.nn.Module， net.train() net.eval() 在模型訓練或測試之初 可以加可以不加 只有當模型結構有 Dropout BatchNorml層才會起作用，當模型有這兩個網絡層的時候，兩個代碼需要加上。