神經網絡的基本骨架

import torch
from torch import nn #nn模塊是PyTorch中用于構建神經網絡模型的核心模塊。它提供了各種類和函數，可以幫助你定義和訓練神經網絡。class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__() #調用 super(Tudui, self).__init__() 初始化父類 nn.Module，這樣我們才能正常使用神經網絡模塊的功能。def forward(self,input):output = input + 1 #在 forward 方法中，定義了模型的前向傳播過程。輸入 input 加上 1，并將結果作為輸出返回。return outputtudui = Tudui()
x = torch.tensor(1.0)
output = tudui(x)
print(output)

卷積操作

import torch
import torch.nn.functional as F #torch.nn.functional模塊提供了一系列的函數，用于構建神經網絡的各種操作，如激活函數、損失函數、池化操作等。# torch.tensor是PyTorch中的一個類，用于創建多維數組或張量。它是使用PyTorch進行科學計算和深度學習的核心數據結構之一。
input = torch.tensor([[1, 2, 0, 3, 1],[0, 1, 2, 3, 1],[1, 2, 1, 0, 0],[5, 2, 3, 1, 1],[2, 1, 0, 1, 1]])kernel = torch.tensor([[1, 2, 1],[0, 1, 0],[2, 1, 0]])
#input是一個張量，通過調用torch.reshape(input, (1, 1, 5, 5))將其形狀重塑為(1, 1, 5, 5)。這意味著原先的張量形狀為(5, 5)，重塑后的張量形狀為(1, 1, 5, 5)。
input = torch.reshape(input, (1, 1, 5, 5))
kernel = torch.reshape(kernel, (1, 1, 3, 3))output = F.conv2d(input, kernel, stride=1) #conv2d函數接收三個參數：input、kernel和stride。它執行了一個二維卷積操作，將輸入張量input與卷積核張量kernel進行卷積運算，并返回卷積結果。stride參數指定了卷積操作的步幅，默認為1。
print(output)output2 = F.conv2d(input, kernel, stride=2)
print(output2)output3 = F.conv2d(input, kernel, stride=1, padding=1)#padding參數用于在輸入張量的周圍添加零填充（zero-padding），以控制輸出的尺寸。通過在輸入的周圍添加零值像素，可以保持輸出具有與輸入相同的空間尺寸。
print(output3)

卷積層

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader #用于加載數據集的實用工具類。
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10(r"D:\PyCharm\learn_torch\dataset", train=False, transform=torchvision.transforms.ToTensor(),download=True)#加載CIFAR-10數據集。#DataLoader類主要用于將數據集分割成小批量數據并提供數據加載的功能。它接收兩個主要參數：dataset和batch_size。
# dataset參數是一個數據集對象，可以是之前加載的CIFAR-10數據集 (torchvision.datasets.CIFAR10) 或其他自定義的數據集對象。
# batch_size參數指定了每個小批量數據的樣本數量。在這個例子中，batch_size被設置為64，表示每個小批量數據中包含64個樣本。
dataLoader = DataLoader(dataset, batch_size=64)class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()#Conv2d 類需要指定一些參數來定義卷積層的屬性：# in_channels：輸入張量的通道數，這里為 3，表示輸入是 RGB 彩色圖像，具有 3 個通道。# out_channels：輸出張量的通道數，這里為 6，表示輸出將包含 6 個通道。# kernel_size：卷積核的大小，這里為 3，表示卷積核的寬度和高度都為 3。# stride：卷積的步幅大小，這里為 1，表示每次卷積的滑動步幅為 1。# padding：零填充的大小，這里為 0，表示不對輸入進行零填充。self.conv1 = Conv2d(in_channels=3,out_channels=6,kernel_size=3,stride=1,padding=0)#forward(self, x) 是模型類中的方法，用于定義模型的前向傳播過程。在該方法中，輸入張量 x 經過模型的各個層（如卷積層、池化層、全連接層等）進行計算，并返回最終的輸出結果。# x = self.conv1(x)# x = torch.relu(x)# x = x.view(x.size(0), -1)# x = self.fc1(x)def forward(self,x):x = self.conv1(x) #這行代碼將輸入張量 x 通過卷積層 conv1 進行卷積操作，更新 x 的值為卷積操作的結果。return xtudui = Tudui()write = SummaryWriter(r"../logs")#創建了一個 SummaryWriter 對象，用于將訓練過程中的數據寫入到指定的日志目錄中。step = 0
for data in dataLoader:#這行代碼將 data 數據拆分為 imgs 和 target 兩個部分。# 假設 data 是一個包含圖像和標簽的數據集，在進行訓練或測試時，常常需要將數據拆分為圖像和對應的標簽。這樣可以方便地對圖像進行處理和輸入模型，同時獲取對應    的標簽用于計算損失或評估模型性能。# imgs 表示圖像數據，target 表示對應的標簽數據，可能是一個類別標簽、一個數字標簽或者其他形式的標簽。imgs, target = dataoutput = tudui(imgs)#將圖像數據 imgs 作為輸入傳遞給名為 tudui 的函數（或模型），并將輸出結果賦值給變量 output。print(imgs.shape)print(output.shape)#torch.Size([64, 3, 32, 32])write.add_images("input", imgs, step)#torch.Size([64, 6, 30, 30])output = torch.reshape(output, (-1, 3, 30, 30))#這行代碼將名稱為 “input” 的圖像數據 imgs 添加到 SummaryWriter 對象中，用于生成可視化的輸入圖像。# 在使用 TensorBoard 進行可視化時，可以通過 SummaryWriter 對象的 add_images 方法將圖像數據寫入到日志文件中，以便后續在 TensorBoard 中展示和分  析。# 第一個參數是圖像的名稱，可以是任意字符串，用于在# TensorBoard# 中標識不同的圖像。# 第二個參數是圖像數據，在這里是# imgs# 變量，可能是一個張量或數組，表示一批圖像數據。圖像數據的形狀通常是[batch_size, channels, height, width]。# 第三個參數是步數 / 迭代次數，用于在# TensorBoard# 中確定圖像數據對應的時間或步數。這個參數是可選的，如果不提供，則默認使用# SummaryWriter對象的全局步數。write.add_images("output",output, step)step = step + 1

最大池化

import torch
import torchvision
from torch import nn
from torch.nn import MaxPool2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10(r"../dataset", train=False, download=True, transform=torchvision.transforms.ToTensor())dataloader = DataLoader(dataset, batch_size=64)input = torch.tensor([[1, 2, 0, 3, 1],[0, 1, 2, 3, 1],[1, 2, 1, 0, 0],[5, 2, 3, 1, 1],[2, 1, 0, 1, 1]],dtype=torch.float32)#指定了數據的類型為 torch.float32，這意味著張量中的元素將被解釋為 32 位浮點數。# 第一個維度（-1）：將根據其他維度確定，以使得重塑后的總元素數量與原始張量保持一致。
# 第二個維度（1）：表示每個批次中的通道數為 1。
# 第三個維度（5）：表示每個圖像的高度為 5。
# 第四個維度（5）：表示每個圖像的寬度為 5。
input = torch.reshape(input, (-1, 1, 5, 5))print(input.shape)class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()#池化操作是深度學習中常用的一種操作，用于減小特征圖的空間尺寸，從而降低模型參數量和計算量，并提取出更顯著的特征。# kernel_size = 3：池化窗口的大小為 3x3。這意味著在進行池化操作時，將以3x3的窗口滑動在輸入特征圖上，每次選取窗口內的最大值作為輸出。# ceil_mode = False：在默認情況下，當輸入特征圖的大小除以池化窗口的大小時存在小數部分時，輸出特征圖的大小將向下取整。即輸入特征圖大小與輸出特征圖          大小之間存在下取整關系。設為False表示不進行這種向上取整操作。self.maxpool = MaxPool2d(kernel_size=3, ceil_mode=False)def forward(self, input):output = self.maxpool(input)return outputtudui = Tudui()
# output = tudui(input)
# print(output)write = SummaryWriter(r"../logs--maxpool")
step = 0
for data in dataloader:imgs, target = datawrite.add_images("input",imgs,step)output = tudui(imgs)write.add_images("output", output, step)step = step + 1write.close()

非線性激活

import torch
import torchvision
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterinput = torch.tensor([[1, -0.5],[-1, 3]])output = torch.reshape(input, (-1, 1, 2, 2))
print(output.shape)dataset = torchvision.datasets.CIFAR10("../dataset", train=False, download=True,transform=torchvision.transforms.ToTensor())
datalodar = DataLoader(dataset, batch_size=64)class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.relu1 = ReLU() # ReLU（Rectified Linear Unit）是深度學習中常用的一種非線性激活函數。它的作用是在神經網絡的模型中引入非線性映射，以增強模型的表達能力。self.sigmoid1 = Sigmoid() # Sigmoid激活函數是一種常用的非線性激活函數，用于在神經網絡中引入非線性變換。它的輸出范圍在 (0, 1) 之間，將輸入值映射到概率形式的輸出。def forward(self, input):output = self.sigmoid1(input)return outputtudui = Tudui()writer = SummaryWriter("../log_relu")
step = 0for data in datalodar:imgs, target = datawriter.add_images("input", imgs, global_step=step)output = tudui(imgs)writer.add_images("output", imgs, global_step=step)step = step + 1writer.close()

線性層及其他層介紹

import torch
import torchvision
from torch import nn
from torch.nn import Linear
from torch.utils.data import DataLoaderdataset = torchvision.datasets.CIFAR10("../dataset",train=False,transform=torchvision.transforms.ToTensor(),download = True)dataloader = DataLoader(dataset, batch_size=64)
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()#self.linear是類中的一個成員變量，它被賦值為一個Linear對象。Linear對象的構造函數需要兩個參數：輸入特征的大小和輸出特征的大小。在這里，輸入特征的大小為196608，輸出特征的大小為10。#linear = Linear(in_features, out_features)# output = linear(input)#in_features 表示輸入的特征維度大小，out_features 表示輸出的特征維度大小。self.linear = Linear(196608,10)def forward(self,input):output = self.linear(input)return outputtudui = Tudui()for data in dataloader:imgs, targets = dataprint(imgs.shape)# output = torch.reshape(imgs, (1, 1, 1, -1))output = torch.flatten(imgs)#通過調用 torch.flatten 函數，可以將輸入張量 imgs 展平成一個一維張量。展平后的張量 output 中的元素順序與原始張量保持一致，只是維度形狀變為一維。print(output.shape)output = tudui(output)print(output.shape)

神經網絡搭建和Sequential的使用

import torch
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.tensorboard import SummaryWriterclass Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()# self.conv1 = Conv2d(3, 32, 5, padding=2)# self.maxpool1 = MaxPool2d(2)# self.conv2 = Conv2d(32, 32, 5, padding=2)# self.maxpool2 = MaxPool2d(2)# self.conv3 = Conv2d(32, 64, 5, padding=2)# self.maxpool3 = MaxPool2d(2)# self.flatten = Flatten()# self.linear1 = Linear(1024, 64)# self.linear2 = Linear(64, 10)# 這個模型使用了Sequential模型，并依次添加了多個層來構建網絡結構。每個層的作用如下：# Conv2d(3, 32, 5, padding=2)：卷積層，輸入通道數為3，輸出通道數為32，卷積核大小為5x5，填充為2。# MaxPool2d(2)：池化層，池化核大小為2x2。# Conv2d(32, 32, 5, padding=2)：卷積層，輸入通道數為32，輸出通道數為32，卷積核大小為5x5，填充為2。# MaxPool2d(2)：池化層，池化核大小為2x2。# Conv2d(32, 64, 5, padding=2)：卷積層，輸入通道數為32，輸出通道數為64，卷積核大小為5x5，填充為2。# MaxPool2d(2)：池化層，池化核大小為2x2。# Flatten()：展平層，用于將多維的輸入數據展平為一維。# Linear(1024, 64)：全連接層，輸入維度為1024，輸出維度為64。# Linear(64, 10)：全連接層，輸入維度為64，輸出維度為10。self.modul1 = Sequential(Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self, x):# x = self.conv1(x)# x = self.maxpool1(x)# x = self.conv2(x)# x = self.maxpool2(x)# x = self.conv3(x)# x = self.maxpool3(x)# x = self.flatten(x)# x = self.linear1(x)# x = self.linear2(x)x = self.modul1(x)return xtudui = Tudui()
print(tudui)
input = torch.ones(64, 3, 32, 32)
output = tudui(input)
print(output.shape)writer = SummaryWriter("../logs_seq")
writer.add_graph(tudui, input)
writer.close()