作業：對比不同卷積層熱圖可視化的結果
一、不同卷積層的特征特性
| 卷積層類型 | 特征類型 | 特征抽象程度 | 對輸入的依賴程度 |
|---|---|---|---|
| 低層卷積層（如第 1 - 3 層） | 邊緣、紋理、顏色、簡單形狀等基礎特征 | 低 | 高，直接與輸入像素關聯 |
| 中層卷積層（如第 4 - 6 層） | 組合特征（如紋理組合、簡單部件） | 中等 | 中等，基于低層特征進一步組合 |
| 高層卷積層（如第 7 層及以上） | 語義特征（如物體類別、整體結構） | 高 | 低，更關注全局語義而非局部細節 |
二、熱圖可視化結果對比
（一）低層卷積層：聚焦局部細節
- 可視化特點
- 高分辨率：熱圖分辨率接近輸入圖像，能清晰呈現像素級的激活區域。
- 局部響應：激活區域集中在輸入圖像的邊緣、紋理等基礎特征所在位置，呈現碎片化分布。
- 多通道差異：不同通道對應不同類型的基礎特征（如水平邊緣、垂直邊緣、特定顏色），熱圖差異明顯。
- 示例（以貓狗圖像為例）：在低層卷積層熱圖中，可看到貓的胡須邊緣、狗的毛發紋理等局部細節區域顯著激活，不同通道分別對應不同方向的邊緣或顏色塊。
（二）中層卷積層：關注部件組合
- 可視化特點
- 中等分辨率：熱圖分辨率降低，局部細節被抽象為部件級特征。
- 區域聚合：激活區域從碎片化轉向區域性，對應物體的部件（如貓耳、狗眼、車輪等）。
- 語義關聯：不同通道開始關聯特定語義部件，熱圖激活區域與物體子結構對應。
- 示例（以車輛圖像為例）：中層卷積層熱圖中，汽車的車輪、車窗等部件區域呈現集中激活，不同通道分別對應車輪的圓形結構、車窗的矩形結構等。
（三）高層卷積層：突出全局語義
- 可視化特點
- 低分辨率：熱圖分辨率進一步降低，呈現為粗糙的語義區域。
- 全局激活：激活區域覆蓋物體整體或關鍵語義區域（如動物身體、車輛主體），體現 “what” 而非 “how”。
- 類別特異性：不同類別圖像的高層熱圖激活區域差異顯著，聚焦于類別判別性區域。
- 示例（以動物圖像為例）：在 “貓” 圖像的高層熱圖中，整個貓的身體區域顯著激活；在 “狗” 圖像中，狗的身體區域激活，且與貓的激活區域位置和形狀相似，但因模型學習到的類別差異，激活強度可能不同。
三、可視化方法對熱圖的影響
不同可視化方法（如 Grad - CAM、反卷積、引導反向傳播等）會使熱圖呈現不同特點，以下是常見方法在不同卷積層的表現對比：
?| 可視化方法 | 低層卷積層熱圖特點 | 高層卷積層熱圖特點 |
|---|---|---|
| Grad - CAM | 激活區域定位較模糊，側重語義相關區域 | 定位準確，清晰標出對分類起關鍵作用的全局區域 |
| 反卷積（Deconvolution） | 高保真還原低層特征的空間位置，細節豐富 | 語義區域模糊，易受低層噪聲干擾 |
| 引導反向傳播（Guided Backpropagation） | 邊緣和紋理細節突出，噪聲較少 | 語義區域碎片化，難以反映高層整體語義 |
四、對比分析的意義
- 理解網絡層級功能：通過對比可知，CNN 通過低層到高層的層級結構，逐步從 “看見像素” 過渡到 “理解語義”，符合人類認知的層級性。
- 診斷模型缺陷：若某層熱圖激活異常（如高層熱圖未覆蓋物體主體），可能表明該層特征提取失效，需調整網絡結構或訓練策略。
- 優化可視化方法：根據分析目標選擇合適方法，如分析低層細節用反卷積，定位高層語義用 Grad - CAM。
作業
現在我們引入通道注意力，來觀察精度是否有變化，并且進一步可視化。
想要把通道注意力插入到模型中，關鍵步驟如下：
- 定義注意力模塊
- 重寫之前的模型定義部分，確定好模塊插入的位置
?通道注意力的定義
# ===================== 新增：通道注意力模塊（SE模塊） =====================
class ChannelAttention(nn.Module):"""通道注意力模塊(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_ratio=16):"""參數:in_channels: 輸入特征圖的通道數reduction_ratio: 降維比例，用于減少參數量"""super(ChannelAttention, self).__init__()# 全局平均池化 - 將空間維度壓縮為1x1，保留通道信息self.avg_pool = nn.AdaptiveAvgPool2d(1)# 全連接層 + 激活函數，用于學習通道間的依賴關系self.fc = nn.Sequential(# 降維：壓縮通道數，減少計算量nn.Linear(in_channels, in_channels // reduction_ratio, bias=False),nn.ReLU(inplace=True),# 升維：恢復原始通道數nn.Linear(in_channels // reduction_ratio, in_channels, bias=False),# Sigmoid將輸出值歸一化到[0,1]，表示通道重要性權重nn.Sigmoid())def forward(self, x):"""參數:x: 輸入特征圖，形狀為 [batch_size, channels, height, width]返回:加權后的特征圖，形狀不變"""batch_size, channels, height, width = x.size()# 1. 全局平均池化：[batch_size, channels, height, width] → [batch_size, channels, 1, 1]avg_pool_output = self.avg_pool(x)# 2. 展平為一維向量：[batch_size, channels, 1, 1] → [batch_size, channels]avg_pool_output = avg_pool_output.view(batch_size, channels)# 3. 通過全連接層學習通道權重：[batch_size, channels] → [batch_size, channels]channel_weights = self.fc(avg_pool_output)# 4. 重塑為二維張量：[batch_size, channels] → [batch_size, channels, 1, 1]channel_weights = channel_weights.view(batch_size, channels, 1, 1)# 5. 將權重應用到原始特征圖上（逐通道相乘）return x * channel_weights # 輸出形狀：[batch_size, channels, height, width]通道注意力模塊的核心原理
- Squeeze（壓縮）：
- 通過全局平均池化將每個通道的二維特征圖（H×W）壓縮為一個標量，保留通道的全局信息。
- 物理意義：計算每個通道在整個圖像中的 “平均響應強度”，例如，“邊緣檢測通道” 在有物體邊緣的圖像中響應值會更高。
- Excitation（激發）：
- 通過全連接層 + Sigmoid 激活，學習通道間的依賴關系，輸出 0-1 之間的權重值。
- 物理意義：讓模型自動判斷哪些通道更重要（權重接近 1），哪些通道可忽略（權重接近 0）。
- Reweight（重加權）：
- 將學習到的通道權重與原始特征圖逐通道相乘，增強重要通道，抑制不重要通道。
- 物理意義：類似人類視覺系統聚焦于關鍵特征（如貓的輪廓），忽略無關特征（如背景顏色）
通道注意力插入后，參數量略微提高，增加了特征提取能力
模型的重新定義（通道注意力的插入）
class CNN(nn.Module):def __init__(self):super(CNN, self).__init__() # ---------------------- 第一個卷積塊 ----------------------self.conv1 = nn.Conv2d(3, 32, 3, padding=1)self.bn1 = nn.BatchNorm2d(32)self.relu1 = nn.ReLU()# 新增：插入通道注意力模塊（SE模塊）self.ca1 = ChannelAttention(in_channels=32, reduction_ratio=16) self.pool1 = nn.MaxPool2d(2, 2) # ---------------------- 第二個卷積塊 ----------------------self.conv2 = nn.Conv2d(32, 64, 3, padding=1)self.bn2 = nn.BatchNorm2d(64)self.relu2 = nn.ReLU()# 新增：插入通道注意力模塊（SE模塊）self.ca2 = ChannelAttention(in_channels=64, reduction_ratio=16) self.pool2 = nn.MaxPool2d(2) # ---------------------- 第三個卷積塊 ----------------------self.conv3 = nn.Conv2d(64, 128, 3, padding=1)self.bn3 = nn.BatchNorm2d(128)self.relu3 = nn.ReLU()# 新增：插入通道注意力模塊（SE模塊）self.ca3 = ChannelAttention(in_channels=128, reduction_ratio=16) self.pool3 = nn.MaxPool2d(2) # ---------------------- 全連接層（分類器） ----------------------self.fc1 = nn.Linear(128 * 4 * 4, 512)self.dropout = nn.Dropout(p=0.5)self.fc2 = nn.Linear(512, 10)def forward(self, x):# ---------- 卷積塊1處理 ----------x = self.conv1(x) x = self.bn1(x) x = self.relu1(x) x = self.ca1(x) # 應用通道注意力x = self.pool1(x) # ---------- 卷積塊2處理 ----------x = self.conv2(x) x = self.bn2(x) x = self.relu2(x) x = self.ca2(x) # 應用通道注意力x = self.pool2(x) # ---------- 卷積塊3處理 ----------x = self.conv3(x) x = self.bn3(x) x = self.relu3(x) x = self.ca3(x) # 應用通道注意力x = self.pool3(x) # ---------- 展平與全連接層 ----------x = x.view(-1, 128 * 4 * 4) x = self.fc1(x) x = self.relu3(x) x = self.dropout(x) x = self.fc2(x) return x # 重新初始化模型，包含通道注意力模塊
model = CNN()
model = model.to(device) # 將模型移至GPU（如果可用）criterion = nn.CrossEntropyLoss() # 交叉熵損失函數
optimizer = optim.Adam(model.parameters(), lr=0.001) # Adam優化器# 引入學習率調度器，在訓練過程中動態調整學習率--訓練初期使用較大的 LR 快速降低損失，訓練后期使用較小的 LR 更精細地逼近全局最優解。
# 在每個 epoch 結束后，需要手動調用調度器來更新學習率，可以在訓練過程中調用 scheduler.step()
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, # 指定要控制的優化器（這里是Adam）mode='min', # 監測的指標是"最小化"（如損失函數）patience=3, # 如果連續3個epoch指標沒有改善，才降低LRfactor=0.5 # 降低LR的比例（新LR = 舊LR × 0.5）
)# 訓練模型（復用原有的train函數）
print("開始訓練帶通道注意力的CNN模型...")
final_accuracy = train(model, train_loader, test_loader, criterion, optimizer, scheduler, device, epochs=50)
print(f"訓練完成！最終測試準確率: {final_accuracy:.2f}%")開始訓練帶通道注意力的CNN模型... Epoch: 1/50 | Batch: 100/782 | 單Batch損失: 1.8910 | 累計平均損失: 1.9942 Epoch: 1/50 | Batch: 200/782 | 單Batch損失: 1.6923 | 累計平均損失: 1.8823 Epoch: 1/50 | Batch: 300/782 | 單Batch損失: 1.6001 | 累計平均損失: 1.8048 Epoch: 1/50 | Batch: 400/782 | 單Batch損失: 1.2822 | 累計平均損失: 1.7508 Epoch: 1/50 | Batch: 500/782 | 單Batch損失: 1.5353 | 累計平均損失: 1.7110 Epoch: 1/50 | Batch: 600/782 | 單Batch損失: 1.4252 | 累計平均損失: 1.6772 Epoch: 1/50 | Batch: 700/782 | 單Batch損失: 1.5700 | 累計平均損失: 1.6480 Epoch 1/50 完成 | 訓練準確率: 40.15% | 測試準確率: 54.47% Epoch: 2/50 | Batch: 100/782 | 單Batch損失: 1.1785 | 累計平均損失: 1.3923 Epoch: 2/50 | Batch: 200/782 | 單Batch損失: 1.1950 | 累計平均損失: 1.3703 Epoch: 2/50 | Batch: 300/782 | 單Batch損失: 1.5047 | 累計平均損失: 1.3450 Epoch: 2/50 | Batch: 400/782 | 單Batch損失: 0.9452 | 累計平均損失: 1.3163 Epoch: 2/50 | Batch: 500/782 | 單Batch損失: 1.4187 | 累計平均損失: 1.2955 Epoch: 2/50 | Batch: 600/782 | 單Batch損失: 1.2744 | 累計平均損失: 1.2757 Epoch: 2/50 | Batch: 700/782 | 單Batch損失: 0.8026 | 累計平均損失: 1.2576 Epoch 2/50 完成 | 訓練準確率: 55.18% | 測試準確率: 64.94% Epoch: 3/50 | Batch: 100/782 | 單Batch損失: 1.1973 | 累計平均損失: 1.1252 Epoch: 3/50 | Batch: 200/782 | 單Batch損失: 1.0419 | 累計平均損失: 1.1164 Epoch: 3/50 | Batch: 300/782 | 單Batch損失: 1.1677 | 累計平均損失: 1.1095 Epoch: 3/50 | Batch: 400/782 | 單Batch損失: 0.8185 | 累計平均損失: 1.1021 Epoch: 3/50 | Batch: 500/782 | 單Batch損失: 0.9481 | 累計平均損失: 1.0917 Epoch: 3/50 | Batch: 600/782 | 單Batch損失: 0.9860 | 累計平均損失: 1.0812 Epoch: 3/50 | Batch: 700/782 | 單Batch損失: 1.1787 | 累計平均損失: 1.0746 Epoch 3/50 完成 | 訓練準確率: 61.74% | 測試準確率: 68.80% Epoch: 4/50 | Batch: 100/782 | 單Batch損失: 0.9095 | 累計平均損失: 1.0144 Epoch: 4/50 | Batch: 200/782 | 單Batch損失: 0.8167 | 累計平均損失: 1.0041 Epoch: 4/50 | Batch: 300/782 | 單Batch損失: 0.8562 | 累計平均損失: 1.0046 Epoch: 4/50 | Batch: 400/782 | 單Batch損失: 0.9789 | 累計平均損失: 0.9979 Epoch: 4/50 | Batch: 500/782 | 單Batch損失: 1.1543 | 累計平均損失: 0.9918 Epoch: 4/50 | Batch: 600/782 | 單Batch損失: 0.7725 | 累計平均損失: 0.9879 Epoch: 4/50 | Batch: 700/782 | 單Batch損失: 0.9204 | 累計平均損失: 0.9808 Epoch 4/50 完成 | 訓練準確率: 65.42% | 測試準確率: 72.02% Epoch: 5/50 | Batch: 100/782 | 單Batch損失: 0.8194 | 累計平均損失: 0.9070 Epoch: 5/50 | Batch: 200/782 | 單Batch損失: 0.9422 | 累計平均損失: 0.8977 Epoch: 5/50 | Batch: 300/782 | 單Batch損失: 1.0601 | 累計平均損失: 0.8964 Epoch: 5/50 | Batch: 400/782 | 單Batch損失: 1.1281 | 累計平均損失: 0.9027 Epoch: 5/50 | Batch: 500/782 | 單Batch損失: 0.7543 | 累計平均損失: 0.9074 Epoch: 5/50 | Batch: 600/782 | 單Batch損失: 0.9560 | 累計平均損失: 0.9075 Epoch: 5/50 | Batch: 700/782 | 單Batch損失: 1.1944 | 累計平均損失: 0.9076 Epoch 5/50 完成 | 訓練準確率: 67.73% | 測試準確率: 73.46% Epoch: 6/50 | Batch: 100/782 | 單Batch損失: 1.0541 | 累計平均損失: 0.8482 Epoch: 6/50 | Batch: 200/782 | 單Batch損失: 0.7732 | 累計平均損失: 0.8623 Epoch: 6/50 | Batch: 300/782 | 單Batch損失: 0.6090 | 累計平均損失: 0.8601 Epoch: 6/50 | Batch: 400/782 | 單Batch損失: 0.8097 | 累計平均損失: 0.8651 Epoch: 6/50 | Batch: 500/782 | 單Batch損失: 0.9160 | 累計平均損失: 0.8635 Epoch: 6/50 | Batch: 600/782 | 單Batch損失: 0.8423 | 累計平均損失: 0.8583 Epoch: 6/50 | Batch: 700/782 | 單Batch損失: 0.5550 | 累計平均損失: 0.8572 Epoch 6/50 完成 | 訓練準確率: 69.70% | 測試準確率: 73.66% Epoch: 7/50 | Batch: 100/782 | 單Batch損失: 1.1355 | 累計平均損失: 0.8247 Epoch: 7/50 | Batch: 200/782 | 單Batch損失: 0.9422 | 累計平均損失: 0.8182 Epoch: 7/50 | Batch: 300/782 | 單Batch損失: 0.9666 | 累計平均損失: 0.8241 Epoch: 7/50 | Batch: 400/782 | 單Batch損失: 0.7275 | 累計平均損失: 0.8239 Epoch: 7/50 | Batch: 500/782 | 單Batch損失: 0.7788 | 累計平均損失: 0.8237 Epoch: 7/50 | Batch: 600/782 | 單Batch損失: 0.7764 | 累計平均損失: 0.8223 Epoch: 7/50 | Batch: 700/782 | 單Batch損失: 0.7445 | 累計平均損失: 0.8242 Epoch 7/50 完成 | 訓練準確率: 71.07% | 測試準確率: 74.66% Epoch: 8/50 | Batch: 100/782 | 單Batch損失: 0.7246 | 累計平均損失: 0.7726 Epoch: 8/50 | Batch: 200/782 | 單Batch損失: 0.8171 | 累計平均損失: 0.7776 Epoch: 8/50 | Batch: 300/782 | 單Batch損失: 0.8266 | 累計平均損失: 0.7838 Epoch: 8/50 | Batch: 400/782 | 單Batch損失: 0.7973 | 累計平均損失: 0.7861 Epoch: 8/50 | Batch: 500/782 | 單Batch損失: 1.2108 | 累計平均損失: 0.7865 Epoch: 8/50 | Batch: 600/782 | 單Batch損失: 0.9653 | 累計平均損失: 0.7864 Epoch: 8/50 | Batch: 700/782 | 單Batch損失: 0.4994 | 累計平均損失: 0.7847 Epoch 8/50 完成 | 訓練準確率: 72.33% | 測試準確率: 76.28% Epoch: 9/50 | Batch: 100/782 | 單Batch損失: 0.5965 | 累計平均損失: 0.7670 Epoch: 9/50 | Batch: 200/782 | 單Batch損失: 0.6739 | 累計平均損失: 0.7583 Epoch: 9/50 | Batch: 300/782 | 單Batch損失: 0.8711 | 累計平均損失: 0.7591 Epoch: 9/50 | Batch: 400/782 | 單Batch損失: 0.6418 | 累計平均損失: 0.7630 Epoch: 9/50 | Batch: 500/782 | 單Batch損失: 0.8583 | 累計平均損失: 0.7634 Epoch: 9/50 | Batch: 600/782 | 單Batch損失: 0.6803 | 累計平均損失: 0.7668 Epoch: 9/50 | Batch: 700/782 | 單Batch損失: 0.7970 | 累計平均損失: 0.7632 Epoch 9/50 完成 | 訓練準確率: 73.22% | 測試準確率: 77.34% Epoch: 10/50 | Batch: 100/782 | 單Batch損失: 0.6389 | 累計平均損失: 0.7146 Epoch: 10/50 | Batch: 200/782 | 單Batch損失: 0.9116 | 累計平均損失: 0.7315 Epoch: 10/50 | Batch: 300/782 | 單Batch損失: 0.7333 | 累計平均損失: 0.7330 Epoch: 10/50 | Batch: 400/782 | 單Batch損失: 0.7339 | 累計平均損失: 0.7336 Epoch: 10/50 | Batch: 500/782 | 單Batch損失: 0.6050 | 累計平均損失: 0.7341 Epoch: 10/50 | Batch: 600/782 | 單Batch損失: 0.6220 | 累計平均損失: 0.7345 Epoch: 10/50 | Batch: 700/782 | 單Batch損失: 0.7757 | 累計平均損失: 0.7332 Epoch 10/50 完成 | 訓練準確率: 74.16% | 測試準確率: 78.11% Epoch: 11/50 | Batch: 100/782 | 單Batch損失: 0.7069 | 累計平均損失: 0.7201 Epoch: 11/50 | Batch: 200/782 | 單Batch損失: 1.1344 | 累計平均損失: 0.7279 Epoch: 11/50 | Batch: 300/782 | 單Batch損失: 0.8089 | 累計平均損失: 0.7247 Epoch: 11/50 | Batch: 400/782 | 單Batch損失: 0.5967 | 累計平均損失: 0.7208 Epoch: 11/50 | Batch: 500/782 | 單Batch損失: 0.5873 | 累計平均損失: 0.7237 Epoch: 11/50 | Batch: 600/782 | 單Batch損失: 0.4547 | 累計平均損失: 0.7229 Epoch: 11/50 | Batch: 700/782 | 單Batch損失: 0.8420 | 累計平均損失: 0.7214 Epoch 11/50 完成 | 訓練準確率: 74.72% | 測試準確率: 78.84% Epoch: 12/50 | Batch: 100/782 | 單Batch損失: 0.8635 | 累計平均損失: 0.7254 Epoch: 12/50 | Batch: 200/782 | 單Batch損失: 0.5758 | 累計平均損失: 0.7109 Epoch: 12/50 | Batch: 300/782 | 單Batch損失: 0.8813 | 累計平均損失: 0.7027 Epoch: 12/50 | Batch: 400/782 | 單Batch損失: 0.6096 | 累計平均損失: 0.7045 Epoch: 12/50 | Batch: 500/782 | 單Batch損失: 0.6331 | 累計平均損失: 0.7037 Epoch: 12/50 | Batch: 600/782 | 單Batch損失: 0.5613 | 累計平均損失: 0.7021 Epoch: 12/50 | Batch: 700/782 | 單Batch損失: 0.7367 | 累計平均損失: 0.7000 Epoch 12/50 完成 | 訓練準確率: 75.18% | 測試準確率: 78.28% Epoch: 13/50 | Batch: 100/782 | 單Batch損失: 0.4853 | 累計平均損失: 0.6892 Epoch: 13/50 | Batch: 200/782 | 單Batch損失: 0.6132 | 累計平均損失: 0.6804 Epoch: 13/50 | Batch: 300/782 | 單Batch損失: 0.7773 | 累計平均損失: 0.6795 Epoch: 13/50 | Batch: 400/782 | 單Batch損失: 0.7293 | 累計平均損失: 0.6821 Epoch: 13/50 | Batch: 500/782 | 單Batch損失: 0.7064 | 累計平均損失: 0.6838 Epoch: 13/50 | Batch: 600/782 | 單Batch損失: 0.6225 | 累計平均損失: 0.6825 Epoch: 13/50 | Batch: 700/782 | 單Batch損失: 0.7808 | 累計平均損失: 0.6833 Epoch 13/50 完成 | 訓練準確率: 75.94% | 測試準確率: 78.24% Epoch: 14/50 | Batch: 100/782 | 單Batch損失: 0.6450 | 累計平均損失: 0.6793 Epoch: 14/50 | Batch: 200/782 | 單Batch損失: 0.8774 | 累計平均損失: 0.6634 Epoch: 14/50 | Batch: 300/782 | 單Batch損失: 0.7729 | 累計平均損失: 0.6625 Epoch: 14/50 | Batch: 400/782 | 單Batch損失: 0.7973 | 累計平均損失: 0.6645 Epoch: 14/50 | Batch: 500/782 | 單Batch損失: 0.4674 | 累計平均損失: 0.6614 Epoch: 14/50 | Batch: 600/782 | 單Batch損失: 0.5475 | 累計平均損失: 0.6624 Epoch: 14/50 | Batch: 700/782 | 單Batch損失: 0.8203 | 累計平均損失: 0.6645 Epoch 14/50 完成 | 訓練準確率: 76.83% | 測試準確率: 78.92% Epoch: 15/50 | Batch: 100/782 | 單Batch損失: 0.6754 | 累計平均損失: 0.6515 Epoch: 15/50 | Batch: 200/782 | 單Batch損失: 0.5855 | 累計平均損失: 0.6502 Epoch: 15/50 | Batch: 300/782 | 單Batch損失: 0.6383 | 累計平均損失: 0.6461 Epoch: 15/50 | Batch: 400/782 | 單Batch損失: 0.6179 | 累計平均損失: 0.6429 Epoch: 15/50 | Batch: 500/782 | 單Batch損失: 0.6019 | 累計平均損失: 0.6467 Epoch: 15/50 | Batch: 600/782 | 單Batch損失: 0.6988 | 累計平均損失: 0.6459 Epoch: 15/50 | Batch: 700/782 | 單Batch損失: 0.7184 | 累計平均損失: 0.6496 Epoch 15/50 完成 | 訓練準確率: 77.02% | 測試準確率: 79.01% Epoch: 16/50 | Batch: 100/782 | 單Batch損失: 0.6067 | 累計平均損失: 0.6246 Epoch: 16/50 | Batch: 200/782 | 單Batch損失: 0.6392 | 累計平均損失: 0.6408 Epoch: 16/50 | Batch: 300/782 | 單Batch損失: 0.6083 | 累計平均損失: 0.6367 Epoch: 16/50 | Batch: 400/782 | 單Batch損失: 0.6707 | 累計平均損失: 0.6327 Epoch: 16/50 | Batch: 500/782 | 單Batch損失: 0.6953 | 累計平均損失: 0.6293 Epoch: 16/50 | Batch: 600/782 | 單Batch損失: 0.4582 | 累計平均損失: 0.6342 Epoch: 16/50 | Batch: 700/782 | 單Batch損失: 0.9490 | 累計平均損失: 0.6377 Epoch 16/50 完成 | 訓練準確率: 77.72% | 測試準確率: 79.28% Epoch: 17/50 | Batch: 100/782 | 單Batch損失: 0.6170 | 累計平均損失: 0.6355 Epoch: 17/50 | Batch: 200/782 | 單Batch損失: 0.6250 | 累計平均損失: 0.6314 Epoch: 17/50 | Batch: 300/782 | 單Batch損失: 0.5300 | 累計平均損失: 0.6285 Epoch: 17/50 | Batch: 400/782 | 單Batch損失: 0.6244 | 累計平均損失: 0.6328 Epoch: 17/50 | Batch: 500/782 | 單Batch損失: 0.6127 | 累計平均損失: 0.6353 Epoch: 17/50 | Batch: 600/782 | 單Batch損失: 0.5944 | 累計平均損失: 0.6352 Epoch: 17/50 | Batch: 700/782 | 單Batch損失: 0.6465 | 累計平均損失: 0.6353 Epoch 17/50 完成 | 訓練準確率: 77.89% | 測試準確率: 80.43% Epoch: 18/50 | Batch: 100/782 | 單Batch損失: 0.5609 | 累計平均損失: 0.6032 Epoch: 18/50 | Batch: 200/782 | 單Batch損失: 0.6771 | 累計平均損失: 0.6216 Epoch: 18/50 | Batch: 300/782 | 單Batch損失: 0.6366 | 累計平均損失: 0.6288 Epoch: 18/50 | Batch: 400/782 | 單Batch損失: 0.5645 | 累計平均損失: 0.6291 Epoch: 18/50 | Batch: 500/782 | 單Batch損失: 0.8008 | 累計平均損失: 0.6278 Epoch: 18/50 | Batch: 600/782 | 單Batch損失: 0.6849 | 累計平均損失: 0.6272 Epoch: 18/50 | Batch: 700/782 | 單Batch損失: 0.7924 | 累計平均損失: 0.6269 Epoch 18/50 完成 | 訓練準確率: 77.96% | 測試準確率: 80.82% Epoch: 19/50 | Batch: 100/782 | 單Batch損失: 0.5558 | 累計平均損失: 0.6171 Epoch: 19/50 | Batch: 200/782 | 單Batch損失: 0.5985 | 累計平均損失: 0.6068 Epoch: 19/50 | Batch: 300/782 | 單Batch損失: 0.6577 | 累計平均損失: 0.6134 Epoch: 19/50 | Batch: 400/782 | 單Batch損失: 0.5516 | 累計平均損失: 0.6165 Epoch: 19/50 | Batch: 500/782 | 單Batch損失: 0.7816 | 累計平均損失: 0.6170 Epoch: 19/50 | Batch: 600/782 | 單Batch損失: 0.5580 | 累計平均損失: 0.6183 Epoch: 19/50 | Batch: 700/782 | 單Batch損失: 0.5850 | 累計平均損失: 0.6176 Epoch 19/50 完成 | 訓練準確率: 78.33% | 測試準確率: 81.22% Epoch: 20/50 | Batch: 100/782 | 單Batch損失: 0.6917 | 累計平均損失: 0.5775 Epoch: 20/50 | Batch: 200/782 | 單Batch損失: 0.4631 | 累計平均損失: 0.5914 Epoch: 20/50 | Batch: 300/782 | 單Batch損失: 0.5342 | 累計平均損失: 0.5921 Epoch: 20/50 | Batch: 400/782 | 單Batch損失: 0.6903 | 累計平均損失: 0.5977 Epoch: 20/50 | Batch: 500/782 | 單Batch損失: 0.6729 | 累計平均損失: 0.6048 Epoch: 20/50 | Batch: 600/782 | 單Batch損失: 0.5450 | 累計平均損失: 0.6074 Epoch: 20/50 | Batch: 700/782 | 單Batch損失: 0.4961 | 累計平均損失: 0.6058 Epoch 20/50 完成 | 訓練準確率: 78.70% | 測試準確率: 81.15% Epoch: 21/50 | Batch: 100/782 | 單Batch損失: 0.7660 | 累計平均損失: 0.5994 Epoch: 21/50 | Batch: 200/782 | 單Batch損失: 0.5768 | 累計平均損失: 0.5965 Epoch: 21/50 | Batch: 300/782 | 單Batch損失: 0.5978 | 累計平均損失: 0.5945 Epoch: 21/50 | Batch: 400/782 | 單Batch損失: 0.5098 | 累計平均損失: 0.5890 Epoch: 21/50 | Batch: 500/782 | 單Batch損失: 0.7482 | 累計平均損失: 0.5885 Epoch: 21/50 | Batch: 600/782 | 單Batch損失: 0.5658 | 累計平均損失: 0.5898 Epoch: 21/50 | Batch: 700/782 | 單Batch損失: 0.4952 | 累計平均損失: 0.5899 Epoch 21/50 完成 | 訓練準確率: 79.21% | 測試準確率: 80.35% Epoch: 22/50 | Batch: 100/782 | 單Batch損失: 0.5834 | 累計平均損失: 0.6001 Epoch: 22/50 | Batch: 200/782 | 單Batch損失: 0.4394 | 累計平均損失: 0.5847 Epoch: 22/50 | Batch: 300/782 | 單Batch損失: 0.4991 | 累計平均損失: 0.5856 Epoch: 22/50 | Batch: 400/782 | 單Batch損失: 0.7057 | 累計平均損失: 0.5855 Epoch: 22/50 | Batch: 500/782 | 單Batch損失: 0.5274 | 累計平均損失: 0.5857 Epoch: 22/50 | Batch: 600/782 | 單Batch損失: 0.6782 | 累計平均損失: 0.5872 Epoch: 22/50 | Batch: 700/782 | 單Batch損失: 0.5026 | 累計平均損失: 0.5895 Epoch 22/50 完成 | 訓練準確率: 79.22% | 測試準確率: 80.70% Epoch: 23/50 | Batch: 100/782 | 單Batch損失: 0.6250 | 累計平均損失: 0.5777 Epoch: 23/50 | Batch: 200/782 | 單Batch損失: 0.4429 | 累計平均損失: 0.5752 Epoch: 23/50 | Batch: 300/782 | 單Batch損失: 0.4288 | 累計平均損失: 0.5800 Epoch: 23/50 | Batch: 400/782 | 單Batch損失: 0.5530 | 累計平均損失: 0.5794 Epoch: 23/50 | Batch: 500/782 | 單Batch損失: 0.5810 | 累計平均損失: 0.5814 Epoch: 23/50 | Batch: 600/782 | 單Batch損失: 0.6042 | 累計平均損失: 0.5815 Epoch: 23/50 | Batch: 700/782 | 單Batch損失: 0.7897 | 累計平均損失: 0.5783 Epoch 23/50 完成 | 訓練準確率: 79.80% | 測試準確率: 82.05% Epoch: 24/50 | Batch: 100/782 | 單Batch損失: 0.5486 | 累計平均損失: 0.5543 Epoch: 24/50 | Batch: 200/782 | 單Batch損失: 0.6512 | 累計平均損失: 0.5688 Epoch: 24/50 | Batch: 300/782 | 單Batch損失: 0.6041 | 累計平均損失: 0.5664 Epoch: 24/50 | Batch: 400/782 | 單Batch損失: 0.4824 | 累計平均損失: 0.5691 Epoch: 24/50 | Batch: 500/782 | 單Batch損失: 0.5739 | 累計平均損失: 0.5696 Epoch: 24/50 | Batch: 600/782 | 單Batch損失: 0.7306 | 累計平均損失: 0.5713 Epoch: 24/50 | Batch: 700/782 | 單Batch損失: 0.3697 | 累計平均損失: 0.5693 Epoch 24/50 完成 | 訓練準確率: 80.08% | 測試準確率: 82.09% Epoch: 25/50 | Batch: 100/782 | 單Batch損失: 0.4554 | 累計平均損失: 0.5543 Epoch: 25/50 | Batch: 200/782 | 單Batch損失: 0.3852 | 累計平均損失: 0.5500 Epoch: 25/50 | Batch: 300/782 | 單Batch損失: 0.6902 | 累計平均損失: 0.5556 Epoch: 25/50 | Batch: 400/782 | 單Batch損失: 0.3672 | 累計平均損失: 0.5564 Epoch: 25/50 | Batch: 500/782 | 單Batch損失: 0.6507 | 累計平均損失: 0.5590 Epoch: 25/50 | Batch: 600/782 | 單Batch損失: 0.4924 | 累計平均損失: 0.5613 Epoch: 25/50 | Batch: 700/782 | 單Batch損失: 0.8046 | 累計平均損失: 0.5637 Epoch 25/50 完成 | 訓練準確率: 80.18% | 測試準確率: 80.45% Epoch: 26/50 | Batch: 100/782 | 單Batch損失: 0.6297 | 累計平均損失: 0.5688 Epoch: 26/50 | Batch: 200/782 | 單Batch損失: 0.5689 | 累計平均損失: 0.5668 Epoch: 26/50 | Batch: 300/782 | 單Batch損失: 0.4731 | 累計平均損失: 0.5631 Epoch: 26/50 | Batch: 400/782 | 單Batch損失: 0.4124 | 累計平均損失: 0.5606 Epoch: 26/50 | Batch: 500/782 | 單Batch損失: 0.4638 | 累計平均損失: 0.5567 Epoch: 26/50 | Batch: 600/782 | 單Batch損失: 0.5766 | 累計平均損失: 0.5597 Epoch: 26/50 | Batch: 700/782 | 單Batch損失: 0.6235 | 累計平均損失: 0.5574 Epoch 26/50 完成 | 訓練準確率: 80.50% | 測試準確率: 81.66% Epoch: 27/50 | Batch: 100/782 | 單Batch損失: 0.4954 | 累計平均損失: 0.5411 Epoch: 27/50 | Batch: 200/782 | 單Batch損失: 0.4585 | 累計平均損失: 0.5459 Epoch: 27/50 | Batch: 300/782 | 單Batch損失: 0.5495 | 累計平均損失: 0.5480 Epoch: 27/50 | Batch: 400/782 | 單Batch損失: 0.4660 | 累計平均損失: 0.5501 Epoch: 27/50 | Batch: 500/782 | 單Batch損失: 0.7180 | 累計平均損失: 0.5506 Epoch: 27/50 | Batch: 600/782 | 單Batch損失: 0.5334 | 累計平均損失: 0.5512 Epoch: 27/50 | Batch: 700/782 | 單Batch損失: 0.9151 | 累計平均損失: 0.5503 Epoch 27/50 完成 | 訓練準確率: 80.69% | 測試準確率: 82.66% Epoch: 28/50 | Batch: 100/782 | 單Batch損失: 0.5780 | 累計平均損失: 0.5544 Epoch: 28/50 | Batch: 200/782 | 單Batch損失: 0.6886 | 累計平均損失: 0.5520 Epoch: 28/50 | Batch: 300/782 | 單Batch損失: 0.6571 | 累計平均損失: 0.5505 Epoch: 28/50 | Batch: 400/782 | 單Batch損失: 0.6173 | 累計平均損失: 0.5508 Epoch: 28/50 | Batch: 500/782 | 單Batch損失: 0.4593 | 累計平均損失: 0.5539 Epoch: 28/50 | Batch: 600/782 | 單Batch損失: 0.2833 | 累計平均損失: 0.5520 Epoch: 28/50 | Batch: 700/782 | 單Batch損失: 0.6721 | 累計平均損失: 0.5491 Epoch 28/50 完成 | 訓練準確率: 80.87% | 測試準確率: 81.96% Epoch: 29/50 | Batch: 100/782 | 單Batch損失: 0.5877 | 累計平均損失: 0.5381 Epoch: 29/50 | Batch: 200/782 | 單Batch損失: 0.5812 | 累計平均損失: 0.5396 Epoch: 29/50 | Batch: 300/782 | 單Batch損失: 0.4271 | 累計平均損失: 0.5419 Epoch: 29/50 | Batch: 400/782 | 單Batch損失: 0.5118 | 累計平均損失: 0.5393 Epoch: 29/50 | Batch: 500/782 | 單Batch損失: 0.6373 | 累計平均損失: 0.5377 Epoch: 29/50 | Batch: 600/782 | 單Batch損失: 0.5544 | 累計平均損失: 0.5408 Epoch: 29/50 | Batch: 700/782 | 單Batch損失: 0.7512 | 累計平均損失: 0.5428 Epoch 29/50 完成 | 訓練準確率: 80.99% | 測試準確率: 81.47% Epoch: 30/50 | Batch: 100/782 | 單Batch損失: 0.4670 | 累計平均損失: 0.5293 Epoch: 30/50 | Batch: 200/782 | 單Batch損失: 0.3581 | 累計平均損失: 0.5368 Epoch: 30/50 | Batch: 300/782 | 單Batch損失: 0.4213 | 累計平均損失: 0.5372 Epoch: 30/50 | Batch: 400/782 | 單Batch損失: 0.3971 | 累計平均損失: 0.5353 Epoch: 30/50 | Batch: 500/782 | 單Batch損失: 0.5780 | 累計平均損失: 0.5336 Epoch: 30/50 | Batch: 600/782 | 單Batch損失: 0.6527 | 累計平均損失: 0.5295 Epoch: 30/50 | Batch: 700/782 | 單Batch損失: 0.4783 | 累計平均損失: 0.5303 Epoch 30/50 完成 | 訓練準確率: 81.26% | 測試準確率: 81.89% Epoch: 31/50 | Batch: 100/782 | 單Batch損失: 0.3568 | 累計平均損失: 0.5350 Epoch: 31/50 | Batch: 200/782 | 單Batch損失: 0.4978 | 累計平均損失: 0.5356 Epoch: 31/50 | Batch: 300/782 | 單Batch損失: 0.5088 | 累計平均損失: 0.5327 Epoch: 31/50 | Batch: 400/782 | 單Batch損失: 0.5637 | 累計平均損失: 0.5310 Epoch: 31/50 | Batch: 500/782 | 單Batch損失: 0.6395 | 累計平均損失: 0.5266 Epoch: 31/50 | Batch: 600/782 | 單Batch損失: 0.4701 | 累計平均損失: 0.5279 Epoch: 31/50 | Batch: 700/782 | 單Batch損失: 0.6192 | 累計平均損失: 0.5296 Epoch 31/50 完成 | 訓練準確率: 81.46% | 測試準確率: 81.23% Epoch: 32/50 | Batch: 100/782 | 單Batch損失: 0.4148 | 累計平均損失: 0.4952 Epoch: 32/50 | Batch: 200/782 | 單Batch損失: 0.4242 | 累計平均損失: 0.4808 Epoch: 32/50 | Batch: 300/782 | 單Batch損失: 0.5075 | 累計平均損失: 0.4801 Epoch: 32/50 | Batch: 400/782 | 單Batch損失: 0.7260 | 累計平均損失: 0.4798 Epoch: 32/50 | Batch: 500/782 | 單Batch損失: 0.7650 | 累計平均損失: 0.4804 Epoch: 32/50 | Batch: 600/782 | 單Batch損失: 0.4746 | 累計平均損失: 0.4819 Epoch: 32/50 | Batch: 700/782 | 單Batch損失: 0.3565 | 累計平均損失: 0.4804 Epoch 32/50 完成 | 訓練準確率: 83.17% | 測試準確率: 83.49% Epoch: 33/50 | Batch: 100/782 | 單Batch損失: 0.4010 | 累計平均損失: 0.4820 Epoch: 33/50 | Batch: 200/782 | 單Batch損失: 0.8172 | 累計平均損失: 0.4776 Epoch: 33/50 | Batch: 300/782 | 單Batch損失: 0.3856 | 累計平均損失: 0.4793 Epoch: 33/50 | Batch: 400/782 | 單Batch損失: 0.4422 | 累計平均損失: 0.4741 Epoch: 33/50 | Batch: 500/782 | 單Batch損失: 0.5063 | 累計平均損失: 0.4714 Epoch: 33/50 | Batch: 600/782 | 單Batch損失: 0.6978 | 累計平均損失: 0.4745 Epoch: 33/50 | Batch: 700/782 | 單Batch損失: 0.2665 | 累計平均損失: 0.4708 Epoch 33/50 完成 | 訓練準確率: 83.48% | 測試準確率: 83.61% Epoch: 34/50 | Batch: 100/782 | 單Batch損失: 0.7424 | 累計平均損失: 0.4434 Epoch: 34/50 | Batch: 200/782 | 單Batch損失: 0.2732 | 累計平均損失: 0.4603 Epoch: 34/50 | Batch: 300/782 | 單Batch損失: 0.3624 | 累計平均損失: 0.4581 Epoch: 34/50 | Batch: 400/782 | 單Batch損失: 0.2882 | 累計平均損失: 0.4574 Epoch: 34/50 | Batch: 500/782 | 單Batch損失: 0.3933 | 累計平均損失: 0.4552 Epoch: 34/50 | Batch: 600/782 | 單Batch損失: 0.4164 | 累計平均損失: 0.4577 Epoch: 34/50 | Batch: 700/782 | 單Batch損失: 0.4240 | 累計平均損失: 0.4589 Epoch 34/50 完成 | 訓練準確率: 83.84% | 測試準確率: 83.52% Epoch: 35/50 | Batch: 100/782 | 單Batch損失: 0.5984 | 累計平均損失: 0.4505 Epoch: 35/50 | Batch: 200/782 | 單Batch損失: 0.3762 | 累計平均損失: 0.4503 Epoch: 35/50 | Batch: 300/782 | 單Batch損失: 0.6179 | 累計平均損失: 0.4561 Epoch: 35/50 | Batch: 400/782 | 單Batch損失: 0.4294 | 累計平均損失: 0.4586 Epoch: 35/50 | Batch: 500/782 | 單Batch損失: 0.5536 | 累計平均損失: 0.4597 Epoch: 35/50 | Batch: 600/782 | 單Batch損失: 0.7695 | 累計平均損失: 0.4597 Epoch: 35/50 | Batch: 700/782 | 單Batch損失: 0.6179 | 累計平均損失: 0.4614 Epoch 35/50 完成 | 訓練準確率: 83.76% | 測試準確率: 84.31% Epoch: 36/50 | Batch: 100/782 | 單Batch損失: 0.5466 | 累計平均損失: 0.4394 Epoch: 36/50 | Batch: 200/782 | 單Batch損失: 0.3466 | 累計平均損失: 0.4396 Epoch: 36/50 | Batch: 300/782 | 單Batch損失: 0.2771 | 累計平均損失: 0.4353 Epoch: 36/50 | Batch: 400/782 | 單Batch損失: 0.2139 | 累計平均損失: 0.4399 Epoch: 36/50 | Batch: 500/782 | 單Batch損失: 0.3482 | 累計平均損失: 0.4439 Epoch: 36/50 | Batch: 600/782 | 單Batch損失: 0.4815 | 累計平均損失: 0.4465 Epoch: 36/50 | Batch: 700/782 | 單Batch損失: 0.4194 | 累計平均損失: 0.4478 Epoch 36/50 完成 | 訓練準確率: 84.29% | 測試準確率: 83.60% Epoch: 37/50 | Batch: 100/782 | 單Batch損失: 0.5648 | 累計平均損失: 0.4479 Epoch: 37/50 | Batch: 200/782 | 單Batch損失: 0.4379 | 累計平均損失: 0.4410 Epoch: 37/50 | Batch: 300/782 | 單Batch損失: 0.4254 | 累計平均損失: 0.4399 Epoch: 37/50 | Batch: 400/782 | 單Batch損失: 0.2895 | 累計平均損失: 0.4428 Epoch: 37/50 | Batch: 500/782 | 單Batch損失: 0.3518 | 累計平均損失: 0.4439 Epoch: 37/50 | Batch: 600/782 | 單Batch損失: 0.4451 | 累計平均損失: 0.4441 Epoch: 37/50 | Batch: 700/782 | 單Batch損失: 0.4058 | 累計平均損失: 0.4459 Epoch 37/50 完成 | 訓練準確率: 84.40% | 測試準確率: 84.51% Epoch: 38/50 | Batch: 100/782 | 單Batch損失: 0.4155 | 累計平均損失: 0.4501 Epoch: 38/50 | Batch: 200/782 | 單Batch損失: 0.4825 | 累計平均損失: 0.4511 Epoch: 38/50 | Batch: 300/782 | 單Batch損失: 0.5833 | 累計平均損失: 0.4510 Epoch: 38/50 | Batch: 400/782 | 單Batch損失: 0.4195 | 累計平均損失: 0.4445 Epoch: 38/50 | Batch: 500/782 | 單Batch損失: 0.3762 | 累計平均損失: 0.4443 Epoch: 38/50 | Batch: 600/782 | 單Batch損失: 0.5810 | 累計平均損失: 0.4440 Epoch: 38/50 | Batch: 700/782 | 單Batch損失: 0.3335 | 累計平均損失: 0.4436 Epoch 38/50 完成 | 訓練準確率: 84.35% | 測試準確率: 84.04% Epoch: 39/50 | Batch: 100/782 | 單Batch損失: 0.5044 | 累計平均損失: 0.4341 Epoch: 39/50 | Batch: 200/782 | 單Batch損失: 0.4293 | 累計平均損失: 0.4381 Epoch: 39/50 | Batch: 300/782 | 單Batch損失: 0.4864 | 累計平均損失: 0.4369 Epoch: 39/50 | Batch: 400/782 | 單Batch損失: 0.4687 | 累計平均損失: 0.4348 Epoch: 39/50 | Batch: 500/782 | 單Batch損失: 0.3985 | 累計平均損失: 0.4358 Epoch: 39/50 | Batch: 600/782 | 單Batch損失: 0.4243 | 累計平均損失: 0.4366 Epoch: 39/50 | Batch: 700/782 | 單Batch損失: 0.4411 | 累計平均損失: 0.4386 Epoch 39/50 完成 | 訓練準確率: 84.35% | 測試準確率: 84.25% Epoch: 40/50 | Batch: 100/782 | 單Batch損失: 0.4993 | 累計平均損失: 0.4010 Epoch: 40/50 | Batch: 200/782 | 單Batch損失: 0.4146 | 累計平均損失: 0.4082 Epoch: 40/50 | Batch: 300/782 | 單Batch損失: 0.6128 | 累計平均損失: 0.4061 Epoch: 40/50 | Batch: 400/782 | 單Batch損失: 0.6048 | 累計平均損失: 0.4039 Epoch: 40/50 | Batch: 500/782 | 單Batch損失: 0.2145 | 累計平均損失: 0.4085 Epoch: 40/50 | Batch: 600/782 | 單Batch損失: 0.3212 | 累計平均損失: 0.4110 Epoch: 40/50 | Batch: 700/782 | 單Batch損失: 0.4806 | 累計平均損失: 0.4105 Epoch 40/50 完成 | 訓練準確率: 85.56% | 測試準確率: 84.92% Epoch: 41/50 | Batch: 100/782 | 單Batch損失: 0.5425 | 累計平均損失: 0.4034 Epoch: 41/50 | Batch: 200/782 | 單Batch損失: 0.5033 | 累計平均損失: 0.4010 Epoch: 41/50 | Batch: 300/782 | 單Batch損失: 0.5131 | 累計平均損失: 0.4055 Epoch: 41/50 | Batch: 400/782 | 單Batch損失: 0.3179 | 累計平均損失: 0.4026 Epoch: 41/50 | Batch: 500/782 | 單Batch損失: 0.3293 | 累計平均損失: 0.4049 Epoch: 41/50 | Batch: 600/782 | 單Batch損失: 0.3221 | 累計平均損失: 0.4047 Epoch: 41/50 | Batch: 700/782 | 單Batch損失: 0.4158 | 累計平均損失: 0.4048 Epoch 41/50 完成 | 訓練準確率: 85.64% | 測試準確率: 84.80% Epoch: 42/50 | Batch: 100/782 | 單Batch損失: 0.4801 | 累計平均損失: 0.4149 Epoch: 42/50 | Batch: 200/782 | 單Batch損失: 0.2000 | 累計平均損失: 0.4105 Epoch: 42/50 | Batch: 300/782 | 單Batch損失: 0.3847 | 累計平均損失: 0.4088 Epoch: 42/50 | Batch: 400/782 | 單Batch損失: 0.2396 | 累計平均損失: 0.4104 Epoch: 42/50 | Batch: 500/782 | 單Batch損失: 0.5950 | 累計平均損失: 0.4109 Epoch: 42/50 | Batch: 600/782 | 單Batch損失: 0.5241 | 累計平均損失: 0.4117 Epoch: 42/50 | Batch: 700/782 | 單Batch損失: 0.3273 | 累計平均損失: 0.4104 Epoch 42/50 完成 | 訓練準確率: 85.52% | 測試準確率: 84.93% Epoch: 43/50 | Batch: 100/782 | 單Batch損失: 0.3661 | 累計平均損失: 0.4097 Epoch: 43/50 | Batch: 200/782 | 單Batch損失: 0.5192 | 累計平均損失: 0.3928 Epoch: 43/50 | Batch: 300/782 | 單Batch損失: 0.4022 | 累計平均損失: 0.3967 Epoch: 43/50 | Batch: 400/782 | 單Batch損失: 0.3866 | 累計平均損失: 0.3963 Epoch: 43/50 | Batch: 500/782 | 單Batch損失: 0.6058 | 累計平均損失: 0.3987 Epoch: 43/50 | Batch: 600/782 | 單Batch損失: 0.4382 | 累計平均損失: 0.3997 Epoch: 43/50 | Batch: 700/782 | 單Batch損失: 0.5409 | 累計平均損失: 0.4021 Epoch 43/50 完成 | 訓練準確率: 85.85% | 測試準確率: 84.88% Epoch: 44/50 | Batch: 100/782 | 單Batch損失: 0.4297 | 累計平均損失: 0.3890 Epoch: 44/50 | Batch: 200/782 | 單Batch損失: 0.3757 | 累計平均損失: 0.3827 Epoch: 44/50 | Batch: 300/782 | 單Batch損失: 0.4636 | 累計平均損失: 0.3889 Epoch: 44/50 | Batch: 400/782 | 單Batch損失: 0.3794 | 累計平均損失: 0.3926 Epoch: 44/50 | Batch: 500/782 | 單Batch損失: 0.4853 | 累計平均損失: 0.3931 Epoch: 44/50 | Batch: 600/782 | 單Batch損失: 0.3573 | 累計平均損失: 0.3960 Epoch: 44/50 | Batch: 700/782 | 單Batch損失: 0.3538 | 累計平均損失: 0.3981 Epoch 44/50 完成 | 訓練準確率: 85.90% | 測試準確率: 84.82% Epoch: 45/50 | Batch: 100/782 | 單Batch損失: 0.5312 | 累計平均損失: 0.3968 Epoch: 45/50 | Batch: 200/782 | 單Batch損失: 0.4579 | 累計平均損失: 0.3912 Epoch: 45/50 | Batch: 300/782 | 單Batch損失: 0.2741 | 累計平均損失: 0.3939 Epoch: 45/50 | Batch: 400/782 | 單Batch損失: 0.4357 | 累計平均損失: 0.3942 Epoch: 45/50 | Batch: 500/782 | 單Batch損失: 0.2150 | 累計平均損失: 0.3940 Epoch: 45/50 | Batch: 600/782 | 單Batch損失: 0.3173 | 累計平均損失: 0.3926 Epoch: 45/50 | Batch: 700/782 | 單Batch損失: 0.2830 | 累計平均損失: 0.3935 Epoch 45/50 完成 | 訓練準確率: 86.12% | 測試準確率: 85.01% Epoch: 46/50 | Batch: 100/782 | 單Batch損失: 0.2203 | 累計平均損失: 0.3814 Epoch: 46/50 | Batch: 200/782 | 單Batch損失: 0.2126 | 累計平均損失: 0.3861 Epoch: 46/50 | Batch: 300/782 | 單Batch損失: 0.3392 | 累計平均損失: 0.3904 Epoch: 46/50 | Batch: 400/782 | 單Batch損失: 0.4534 | 累計平均損失: 0.3941 Epoch: 46/50 | Batch: 500/782 | 單Batch損失: 0.5200 | 累計平均損失: 0.3928 Epoch: 46/50 | Batch: 600/782 | 單Batch損失: 0.4988 | 累計平均損失: 0.3919 Epoch: 46/50 | Batch: 700/782 | 單Batch損失: 0.3091 | 累計平均損失: 0.3936 Epoch 46/50 完成 | 訓練準確率: 86.10% | 測試準確率: 84.89% Epoch: 47/50 | Batch: 100/782 | 單Batch損失: 0.4145 | 累計平均損失: 0.3821 Epoch: 47/50 | Batch: 200/782 | 單Batch損失: 0.2262 | 累計平均損失: 0.3902 Epoch: 47/50 | Batch: 300/782 | 單Batch損失: 0.4841 | 累計平均損失: 0.3933 Epoch: 47/50 | Batch: 400/782 | 單Batch損失: 0.2731 | 累計平均損失: 0.3920 Epoch: 47/50 | Batch: 500/782 | 單Batch損失: 0.2827 | 累計平均損失: 0.3898 Epoch: 47/50 | Batch: 600/782 | 單Batch損失: 0.2895 | 累計平均損失: 0.3881 Epoch: 47/50 | Batch: 700/782 | 單Batch損失: 0.6257 | 累計平均損失: 0.3906 Epoch 47/50 完成 | 訓練準確率: 86.19% | 測試準確率: 85.16% Epoch: 48/50 | Batch: 100/782 | 單Batch損失: 0.3067 | 累計平均損失: 0.3838 Epoch: 48/50 | Batch: 200/782 | 單Batch損失: 0.4014 | 累計平均損失: 0.3908 Epoch: 48/50 | Batch: 300/782 | 單Batch損失: 0.4236 | 累計平均損失: 0.3943 Epoch: 48/50 | Batch: 400/782 | 單Batch損失: 0.3618 | 累計平均損失: 0.3938 Epoch: 48/50 | Batch: 500/782 | 單Batch損失: 0.4159 | 累計平均損失: 0.3892 Epoch: 48/50 | Batch: 600/782 | 單Batch損失: 0.3298 | 累計平均損失: 0.3905 Epoch: 48/50 | Batch: 700/782 | 單Batch損失: 0.3324 | 累計平均損失: 0.3892 Epoch 48/50 完成 | 訓練準確率: 86.16% | 測試準確率: 85.32% Epoch: 49/50 | Batch: 100/782 | 單Batch損失: 0.3237 | 累計平均損失: 0.3801 Epoch: 49/50 | Batch: 200/782 | 單Batch損失: 0.3632 | 累計平均損失: 0.3872 Epoch: 49/50 | Batch: 300/782 | 單Batch損失: 0.2550 | 累計平均損失: 0.3838 Epoch: 49/50 | Batch: 400/782 | 單Batch損失: 0.2802 | 累計平均損失: 0.3859 Epoch: 49/50 | Batch: 500/782 | 單Batch損失: 0.4700 | 累計平均損失: 0.3872 Epoch: 49/50 | Batch: 600/782 | 單Batch損失: 0.4471 | 累計平均損失: 0.3875 Epoch: 49/50 | Batch: 700/782 | 單Batch損失: 0.4551 | 累計平均損失: 0.3873 Epoch 49/50 完成 | 訓練準確率: 86.12% | 測試準確率: 85.16% Epoch: 50/50 | Batch: 100/782 | 單Batch損失: 0.3697 | 累計平均損失: 0.3955 Epoch: 50/50 | Batch: 200/782 | 單Batch損失: 0.2297 | 累計平均損失: 0.3878 Epoch: 50/50 | Batch: 300/782 | 單Batch損失: 0.5298 | 累計平均損失: 0.3907 Epoch: 50/50 | Batch: 400/782 | 單Batch損失: 0.3974 | 累計平均損失: 0.3869 Epoch: 50/50 | Batch: 500/782 | 單Batch損失: 0.3202 | 累計平均損失: 0.3893 Epoch: 50/50 | Batch: 600/782 | 單Batch損失: 0.4020 | 累計平均損失: 0.3885 Epoch: 50/50 | Batch: 700/782 | 單Batch損失: 0.4807 | 累計平均損失: 0.3894 Epoch 50/50 完成 | 訓練準確率: 86.14% | 測試準確率: 85.38%
訓練完成！最終測試準確率: 85.38%
在同樣50個epoch后精度略有提升
我們關注的不只是精度的差異，還包含了同精度下訓練時長的差異等，在大規模數據集上推理時長、訓練時長都非常重要。因為資源是有限的。
可視化部分同理，在訓練完成后通過鉤子函數取出權重or梯度，即可進行特征圖的可視化、Grad-CAM可視化、注意力熱圖可視化
# 可視化空間注意力熱力圖（顯示模型關注的圖像區域）
def visualize_attention_map(model, test_loader, device, class_names, num_samples=3):"""可視化模型的注意力熱力圖，展示模型關注的圖像區域"""model.eval() # 設置為評估模式with torch.no_grad():for i, (images, labels) in enumerate(test_loader):if i >= num_samples: # 只可視化前幾個樣本breakimages, labels = images.to(device), labels.to(device)# 創建一個鉤子，捕獲中間特征圖activation_maps = []def hook(module, input, output):activation_maps.append(output.cpu())# 為最后一個卷積層注冊鉤子（獲取特征圖）hook_handle = model.conv3.register_forward_hook(hook)# 前向傳播，觸發鉤子outputs = model(images)# 移除鉤子hook_handle.remove()# 獲取預測結果_, predicted = torch.max(outputs, 1)# 獲取原始圖像img = images[0].cpu().permute(1, 2, 0).numpy()# 反標準化處理img = img * np.array([0.2023, 0.1994, 0.2010]).reshape(1, 1, 3) + np.array([0.4914, 0.4822, 0.4465]).reshape(1, 1, 3)img = np.clip(img, 0, 1)# 獲取激活圖（最后一個卷積層的輸出）feature_map = activation_maps[0][0].cpu() # 取第一個樣本# 計算通道注意力權重（使用SE模塊的全局平均池化）channel_weights = torch.mean(feature_map, dim=(1, 2)) # [C]# 按權重對通道排序sorted_indices = torch.argsort(channel_weights, descending=True)# 創建子圖fig, axes = plt.subplots(1, 4, figsize=(16, 4))# 顯示原始圖像axes[0].imshow(img)axes[0].set_title(f'原始圖像\n真實: {class_names[labels[0]]}\n預測: {class_names[predicted[0]]}')axes[0].axis('off')# 顯示前3個最活躍通道的熱力圖for j in range(3):channel_idx = sorted_indices[j]# 獲取對應通道的特征圖channel_map = feature_map[channel_idx].numpy()# 歸一化到[0,1]channel_map = (channel_map - channel_map.min()) / (channel_map.max() - channel_map.min() + 1e-8)# 調整熱力圖大小以匹配原始圖像from scipy.ndimage import zoomheatmap = zoom(channel_map, (32/feature_map.shape[1], 32/feature_map.shape[2]))# 顯示熱力圖axes[j+1].imshow(img)axes[j+1].imshow(heatmap, alpha=0.5, cmap='jet')axes[j+1].set_title(f'注意力熱力圖 - 通道 {channel_idx}')axes[j+1].axis('off')plt.tight_layout()plt.show()# 調用可視化函數
visualize_attention_map(model, test_loader, device, class_names, num_samples=3)
這個注意力熱圖是通過構子機制：?register_forward_hook?捕獲最后一個卷積層（conv3）的輸出特征圖。
- 通道權重計算：對特征圖的每個通道進行全局平均池化，得到通道重要性權重。
- 熱力圖生成：將高權重通道的特征圖縮放至原始圖像尺寸，與原圖疊加顯示。
熱力圖（紅色表示高關注，藍色表示低關注）半透明覆蓋在原圖上。主要從以下方面理解：
- 高關注區域（紅色）：模型認為對分類最重要的區域。
例如：- 在識別“狗”時，熱力圖可能聚焦狗的面部、身體輪廓或特征性紋理。
- 若熱力圖錯誤聚焦背景（如紅色區域在無關物體上），可能表示模型過擬合或訓練不足。
多通道對比
- 不同通道關注不同特征：
例如：- 通道1可能關注整體輪廓，通道2關注紋理細節，通道3關注顏色分布。
- 結合多個通道的熱力圖，可全面理解模型的決策邏輯。
可以幫助解釋
- 檢查模型是否關注正確區域（如識別狗時，是否聚焦狗而非背景）。
- 發現數據標注問題（如標簽錯誤、圖像噪聲）。
- 向非技術人員解釋模型決策依據（如“模型認為這是狗，因為關注了眼睛和嘴巴”）。
@浙大疏錦行
![[特殊字符] FFmpeg 學習筆記](http://pic.xiahunao.cn/[特殊字符] FFmpeg 學習筆記)
