Day 40訓練

Day 40 訓練

  • PyTorch 圖像數據訓練與測試的規范寫法
    • 單通道圖像的規范訓練流程
      • 數據預處理與加載
      • 模型定義
      • 訓練與測試函數封裝
      • 模型訓練執行
    • 彩色圖像的擴展應用
      • 數據預處理調整
      • 模型結構調整
    • 關鍵要點總結


知識點回顧:

彩色和灰度圖片測試和訓練的規范寫法:封裝在函數中
展平操作:除第一個維度batchsize外全部展平
dropout操作:訓練階段隨機丟棄神經元,測試階段eval模式關閉dropout

作業:仔細學習下測試和訓練代碼的邏輯,這是基礎,這個代碼框架后續會一直沿用,后續的重點慢慢就是轉向模型定義階段了。

PyTorch 圖像數據訓練與測試的規范寫法

在深度學習項目中,規范的代碼結構能極大提升開發效率與代碼可維護性。本文將基于 PyTorch 框架,詳細講解圖像數據訓練和測試的規范寫法,從單通道圖像到彩色圖像,助你構建高效、清晰的模型訓練流程。

單通道圖像的規范訓練流程

數據預處理與加載

我們以 MNIST 手寫數字數據集為例,其為單通道灰度圖像。數據預處理是模型訓練的起點,我們利用 torchvision.transforms 對圖像進行轉換:

transform = transforms.Compose([transforms.ToTensor(),  # 轉換為張量并歸一化到[0,1]transforms.Normalize((0.1307,), (0.3081,))  # 使用 MNIST 數據集的均值和標準差進行標準化
])

接著加載數據集并創建數據加載器:

train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform)batch_size = 64
train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)

模型定義

針對 MNIST 圖像尺寸(28×28),定義一個多層感知機(MLP)模型:

class MLP(nn.Module):def __init__(self):super(MLP, self).__init__()self.flatten = nn.Flatten()  # 將 28x28 圖像展平為 784 維向量self.layer1 = nn.Linear(784, 128)self.relu = nn.ReLU()self.layer2 = nn.Linear(128, 10)def forward(self, x):x = self.flatten(x)x = self.layer1(x)x = self.relu(x)x = self.layer2(x)return x

訓練與測試函數封裝

為提升代碼復用性與可讀性,我們將訓練和測試邏輯封裝為函數:

def train(model, train_loader, test_loader, criterion, optimizer, device, epochs):model.train()all_iter_losses = []iter_indices = []for epoch in range(epochs):running_loss = 0.0correct = 0total = 0for batch_idx, (data, target) in enumerate(train_loader):data, target = data.to(device), target.to(device)optimizer.zero_grad()output = model(data)loss = criterion(output, target)loss.backward()optimizer.step()iter_loss = loss.item()all_iter_losses.append(iter_loss)iter_indices.append(epoch * len(train_loader) + batch_idx + 1)running_loss += iter_loss_, predicted = output.max(1)total += target.size(0)correct += predicted.eq(target).sum().item()if (batch_idx + 1) % 100 == 0:print(f'Epoch: {epoch+1}/{epochs} | Batch: {batch_idx+1}/{len(train_loader)} 'f'| 單 Batch 損失: {iter_loss:.4f} | 累計平均損失: {running_loss/(batch_idx+1):.4f}')epoch_train_loss = running_loss / len(train_loader)epoch_train_acc = 100. * correct / totalepoch_test_loss, epoch_test_acc = test(model, test_loader, criterion, device)print(f'Epoch {epoch+1}/{epochs} 完成 | 訓練準確率: {epoch_train_acc:.2f}% | 測試準確率: {epoch_test_acc:.2f}%')plot_iter_losses(all_iter_losses, iter_indices)return epoch_test_accdef test(model, test_loader, criterion, device):model.eval()test_loss = 0correct = 0total = 0with torch.no_grad():for data, target in test_loader:data, target = data.to(device), target.to(device)output = model(data)test_loss += criterion(output, target).item()_, predicted = output.max(1)total += target.size(0)correct += predicted.eq(target).sum().item()avg_loss = test_loss / len(test_loader)accuracy = 100. * correct / totalreturn avg_loss, accuracy

模型訓練執行

設置訓練輪次并啟動訓練:

epochs = 2
print("開始訓練模型...")
final_accuracy = train(model, train_loader, test_loader, criterion, optimizer, device, epochs)
print(f"訓練完成!最終測試準確率: {final_accuracy:.2f}%")

彩色圖像的擴展應用

對于彩色圖像(如 CIFAR-10 數據集),處理流程與單通道圖像類似,主要差異在于:

數據預處理調整

transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))  # 適應彩色圖像的標準化
])

模型結構調整

class MLP(nn.Module):def __init__(self):super(MLP, self).__init__()self.flatten = nn.Flatten()  # 將 3x32x32 圖像展平為 3072 維向量self.layer1 = nn.Linear(3072, 512)self.relu1 = nn.ReLU()self.dropout1 = nn.Dropout(0.2)self.layer2 = nn.Linear(512, 256)self.relu2 = nn.ReLU()self.dropout2 = nn.Dropout(0.2)self.layer3 = nn.Linear(256, 10)def forward(self, x):x = self.flatten(x)x = self.layer1(x)x = self.relu1(x)x = self.dropout1(x)x = self.layer2(x)x = self.relu2(x)x = self.dropout2(x)x = self.layer3(x)return x

關鍵要點總結

  1. 數據處理規范化 :利用 DataLoaderDataset 對數據進行分批次處理,提高數據加載效率。
  2. 模型結構清晰化 :明確展平操作在圖像任務中的應用,彩色圖像需考慮通道維度。
  3. 訓練測試函數封裝 :將訓練和測試邏輯封裝為函數,便于參數調整與復用,為多模型對比奠定基礎。
  4. 迭代損失記錄 :記錄每個迭代的損失,繪制損失曲線輔助訓練過程分析。

通過遵循上述規范寫法,無論是單通道還是彩色圖像數據,都能高效地完成模型訓練與測試任務,在實際項目中可根據需求靈活擴展與優化。

@浙大疏錦行

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/83661.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/83661.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/83661.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

杰理可視化SDK--系統死機異常調試

杰理可視化SDK--系統死機異常調試 系統異常原因杰理SDK異常調試準備工作杰理SDK系統異常定位異常代碼示例1異常代碼示例2 在使用杰理可視化SDK進行軟件開發時,往往會遇到一些系統異常問題,系統異常是指芯片在運行代碼時,由于軟件或硬件狀態出…

圖簡記。。

模仿&#xff1a; algorithm-journey/src/class059/Code01_CreateGraph.java at main algorithmzuo/algorithm-journey Code01_CreateGraph C語言&#xff1a; #include <stdio.h> #include <stdlib.h> #include <string.h>#define MAXN 11 #define MAX…

Linux 常用命令與 Shell 簡介

文章目錄 **Linux 常用命令與 Shell 簡介****Shell 簡介****什么是 Shell&#xff1f;****Shell 的工作原理****常見 Shell 類型****命令行基礎****Tab 補全與通配符** **Linux 常用命令****1. 入門必備命令****1.1 尋求幫助 - man 命令****1.2 用戶間切換 - su 命令****1.3 特…

基于51單片機的超聲波智能避障小車仿真

目錄 具體實現功能 設計介紹 資料內容 全部內容 資料獲取 具體實現功能 &#xff08;1&#xff09;超聲波實時測量小車與障礙物間的距離&#xff0c;并用LCD1602顯示。 &#xff08;2&#xff09;當測得的距離超過50時&#xff0c;前進電機轉動&#xff08;模擬后輪&#…

AIGC工具平臺-GPT-SoVITS-v4-TTS音頻推理克隆

聲音克隆與語音合成的結合&#xff0c;是近年來生成式AI在多模態方向上的重要落地場景之一。隨著預訓練模型能力的增強&#xff0c;結合語音識別、音素映射與TTS合成的端到端系統成為初學者可以上手實踐的全流程方案。 圍繞 GPT-SoVITS-v4-TTS 模塊&#xff0c;介紹了其在整合…

Android7 Input(十)View 處理Input事件pipeline

概述: 本文主要描述View對InputEvent事件pipeline處理過程。 本文涉及的源碼路徑 frameworks/base/core/java/android/view/ViewRootImpl.java InputEvent事件處理 View處理input事件是調用doProcessInputEvents方法&#xff0c;如下所示: void doProcessInputEvents() {//…

Neo4j 完全指南:從入門到精通

第1章&#xff1a;Neo4j簡介與圖數據庫基礎 1.1 圖數據庫概述 傳統關系型數據庫與圖數據庫的對比圖數據庫的核心優勢圖數據庫的應用場景 1.2 Neo4j的發展歷史 Neo4j的起源與演進Neo4j的版本迭代Neo4j在圖數據庫領域的地位 1.3 圖數據庫的基本概念 節點(Node)與關系(Relat…

網心云 OEC/OECT 筆記(1) 拆機刷入Armbian固件

目錄 網心云 OEC/OECT 筆記(1) 拆機刷入Armbian固件網心云 OEC/OECT 筆記(2) 運行RKNN程序 外觀 內部 PCB正面 PCB背面 PCB背面 RK3566 1Gbps PHY 配置 OEC 和 OECT(OEC-turbo) 都是基于瑞芯微 RK3566/RK3568 的網絡盒子, 沒有HDMI輸入輸出. 硬件上 OEC 和 OECT…

攝像機ISP處理流程

1.Bayer&#xff1a;生成raw圖&#xff0c;添加色彩數據&#xff08;RGB&#xff09;&#xff0c;一般會將G的占比設置為R和B的和&#xff0c;實例&#xff1a; 2.黑電平矯正&#xff1a;減去暗電流造成的誤差&#xff1b; 3.鏡頭矯正&#xff1a;對四周的亮度進行矯正&#x…

【后端架構師的發展路線】

后端架構師的發展路線是從基礎開發到技術領導的系統性進階過程&#xff0c;需融合技術深度、架構思維和業務洞察力。以下是基于行業實踐的職業發展路徑和關鍵能力模型&#xff1a; 一、職業發展階梯? 初級工程師&#xff08;1-3年&#xff09;? 核心能力?&#xff1a;掌…

Unity VR/MR開發-VR開發與傳統3D開發的差異

視頻講解鏈接&#xff1a;【XR馬斯維】VR/MR開發與傳統3D開發的差異【UnityVR/MR開發教程--入門】_嗶哩嗶哩_bilibili

RabbitMQ如何保證消息可靠性

RabbitMQ是一個流行的開源消息代理&#xff0c;它提供了可靠的消息傳遞機制&#xff0c;廣泛應用于分布式系統和微服務架構中。在現代應用中&#xff0c;確保消息的可靠性至關重要&#xff0c;以防止消息丟失和重復處理。本文將詳細探討RabbitMQ如何通過多種機制保證消息的可靠…

批量圖片管理軟件介紹

軟件介紹 本文介紹一款功能全面的圖片處理軟件 - FastStone Image Viewer。 軟件功能概述 FastStone Image Viewer不僅支持圖片查看&#xff0c;還具備編輯、批量重命名和批量轉換等多種實用功能。 用戶授權說明 該軟件對個人用戶完全免費&#xff0c;企業用戶只需輸入用戶…

Playwright 測試框架 - Java

??【Playwright + Java 實戰教程】從零到一掌握自動化測試利器! ?? 本文專為 Java 開發者量身打造,通過詳盡示例帶你快速掌握 Playwright 自動化測試。涵蓋基礎操作、表單交互、測試框架集成、高階功能及常見實戰技巧,適用于企業 UI 測試與 CI/CD 場景。 ??? 一、環境…

nvidia系列教程-Usb otg模式修改為host模式

目錄 前言 一、了解 USB OTG 模式與 Host 模式 二、host模式切換 總結 前言 在 NVIDIA 設備的使用過程中,有時我們需要將 USB OTG(On-The-Go)模式切換為 Host 模式,以滿足連接外部設備(如 U 盤、鼠標、鍵盤等)的需求。本文將詳細介紹如何在 NVIDIA 設備上進行這一模式…

二叉樹-104.二叉樹的最大深度-力扣(LeetCode)

一、題目解析 這里需要注意根節點的深度是1&#xff0c;也就是說計算深度的是從1開始計算的 二、算法原理 解法1&#xff1a;廣度搜索&#xff0c;使用隊列 解法2&#xff1a;深度搜索&#xff0c;使用遞歸 當計算出左子樹的深度l&#xff0c;與右子樹的深度r時&#xff0c;…

Calendar類日期設置進位問題

背景 報表需求&#xff0c;需要傳遞每組數據中最小的日期&#xff0c;后臺根據傳遞的最小日期&#xff0c;向前取參數傳遞的月份的上個月為結束時間的近五個月數據 例&#xff1a;參數傳:2025/02&#xff0c;則需返回2025/01, 2024/12, 2024/11, 2024/10, 2024/09這五個年月數據…

編程筆記---問題小計

編程筆記 qml ProgressBar 為什么valuemodel.progress / 100 在QML中&#xff0c;ProgressBar的value屬性用于表示進度條的當前進度值&#xff0c;其范圍通常為0到1&#xff08;或0%到100%&#xff09;。當使用model.progress / 100來設置value時&#xff0c;這樣做的原因是為…

【STL】函數對象+常用算法

文章目錄 STL- 函數對象函數對象函數對象使用 謂詞一元謂詞二元謂詞內建函數對象算術仿函數關系仿函數 STL- 常用算法常用遍歷算法for_eachtransform 常用查找算法findfind_ifadjacent_findbinary_searchcountcount_if 常用排序算法sortrandom_shufflemergereverse 常用拷貝和替…

[JVM] JVM內存調優

&#x1f338;個人主頁:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 &#x1f3f5;?熱門專欄: &#x1f9ca; Java基本語法(97平均質量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 &#x1f355; Collection與…