- ?🍨 本文為🔗365天深度學習訓練營中的學習記錄博客
- 🍖 原作者：K同學啊
?一、前期準備
1.數據處理
import torch.nn.functional as F
import numpy as np
import pandas as pd
import torch
from torch import nndf=pd.read_csv(r"D:\Pytorch\heart.csv")
df
二、構建數據集
1.標準化
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_splitX= df.iloc[:,:-1]
y= df.iloc[:,-1]
#將每一列特征標準化為標準正太分布，注意，標準化是針對每一列而言
sc=StandardScaler()
X=sc.fit_transform(X)2.劃分數據集
X=torch.tensor(np.array(X),dtype=torch.float32)
y=torch.tensor(np.array(y),dtype=torch.int64)X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.1,random_state=1)
#維度擴增使其符合RNN模型可接受shape
X_train = X_train.unsqueeze(1)
X_test = X_test.unsqueeze(1)
X_train.shape, y_train.shape
3.構建數據加載器
from torch.utils.data import TensorDataset,DataLoader
train_dl = DataLoader(TensorDataset(X_train, y_train),batch_size=64,shuffle=False)
test_dl=DataLoader(TensorDataset(X_test,y_test),batch_size=64,shuffle=False)三、模型訓練
1.構建模型
class model_rnn(nn.Module):def __init__(self):super(model_rnn,self).__init__()self.rnn0=nn.RNN(input_size=13,hidden_size=200,num_layers=1,batch_first=True)self.fc0=nn.Linear(200,50)self.fc1=nn.Linear(50,2)def forward(self,x):out,_=self.rnn0(x)out=out[:,-1,:] #只取最后一個時間步的輸出out=self.fc0(out)out=self.fc1(out)return out
model=model_rnn()
model
2.定義訓練函數
# 訓練循環
def train(dataloader,model,loss_fn,optimizer):size=len(dataloader.dataset)num_batches=len(dataloader)train_loss,train_acc=0,0 #初始化訓練損失和正確率for X,y in dataloader:#計算預測誤差pred=model(X) #網絡輸出loss=loss_fn(pred,y) #計算網絡輸出和真實值之間的差距# 反向傳播optimizer.zero_grad() #grad屬性歸零loss.backward()#反向傳播optimizer.step()#每一步自動更新#記錄acc與losstrain_acc+= (pred.argmax(1) == y).type(torch.float).sum().item()train_loss += loss.item()train_acc/=sizetrain_loss/=num_batchesreturn train_acc,train_loss3.定義測試函數
def test (dataloader, model,loss_fn):size= len(dataloader.dataset)#測試集的大小num_batches = len(dataloader)#批次數目，（size/batch_size向上取整）test_loss,test_acc = 0,0#當不進行訓練時，停止梯度更新，節省計算內存消耗with torch.no_grad():for imgs, target in dataloader:#計算losstarget_pred = model(imgs)loss= loss_fn(target_pred, target)test_loss += loss.item()test_acc+=(target_pred.argmax(1) == target).type(torch.float).sum().item()test_acc/=sizetest_loss/=num_batchesreturn test_acc,test_loss4.正式訓練
loss_fn=nn.CrossEntropyLoss()# 創建損失函數
learn_rate=1e-4 #學習率
opt= torch.optim.Adam(model.parameters(),lr=learn_rate)
epochs=50
train_loss=[]
train_acc=[]
test_loss=[]
test_acc=[]for epoch in range(epochs):model.train()epoch_train_acc, epoch_train_loss = train(train_dl, model,loss_fn,opt)model.eval()epoch_test_acc,epoch_test_loss = test(test_dl,model,loss_fn)train_acc.append(epoch_train_acc)train_loss.append(epoch_train_loss)test_acc.append(epoch_test_acc)test_loss.append(epoch_test_loss)#獲取當前的學習率lr = opt.state_dict()['param_groups'][0]['lr']template=('Epoch:{:2d},Train_acc:{:.1f}%,Train_loss:{:.3f}, Test_acc:{:.1f}%,Test_loss:{:.3f},lr:{:.2E}')print(template.format(epoch+1,epoch_train_acc*100,epoch_train_loss,epoch_test_acc*100,epoch_test_loss,lr))print("="*20,'Done','='*20)
四、模型評估
1.loss與accuracy圖
import matplotlib.pyplot as plt
from datetime import datetime
#隱藏警告
import warnings
warnings.filterwarnings("ignore")#忽略警告信息
current_time=datetime.now()#獲取當前時間# 設置 Matplotlib 參數
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False # 用來正常顯示負號
plt.rcParams['figure.dpi'] = 200 # 分辨率epochs_range = range(epochs)
plt.figure(figsize=(12,3))
plt.subplot(1,2,1)
plt.plot(epochs_range, train_acc, label='Training Accuracy')
plt.plot(epochs_range, test_acc, label='Test Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.xlabel(current_time)#打卡請帶上時間戳，否則代碼截圖無效plt.subplot(1,2,2)
plt.plot(epochs_range, train_loss, label='Training Loss')
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()
2.混淆矩陣
print('=======輸入數據shape為=======')
print("x_test.shape:",X_test.shape)
print("y_test.shape:",y_test.shape)
pred = model(X_test).argmax(1).cpu().numpy()
print("\n=====輸出數據Shape為=====")
print("pred.shape: ",pred.shape)
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix,ConfusionMatrixDisplay
#計算混淆矩陣
cm = confusion_matrix(y_test, pred)plt.figure(figsize=(6,5))
plt.suptitle('')
sns.heatmap(cm, annot=True, fmt="d", cmap="Blues")#修改字體大小
plt.xticks(fontsize=10)
plt.yticks(fontsize=10)
plt.title("Confusion Matrix", fontsize=12)
plt.xlabel("Predicted Label",fontsize=10)
plt.ylabel("True Label",fontsize=10)#顯示圖
plt.tight_layout() # 調整布局防止重疊
plt.show()
3.調用模型進行預測
test_X=X_test[0].unsqueeze(1) # X_test[0]即我們的輸入數據
pred = model(test_X).argmax(1).item()
print("模型預測結果為：",pred)
print("=="*10)
print("0:不會患心臟病")
print("1:可能患心臟病")?
五、總結
RNN 的核心特點是它能夠利用序列中的歷史信息來影響當前的輸出。
RNN 的特點
-
記憶性：RNN 能夠利用歷史信息來影響當前的輸出，這使得它在處理序列數據時非常有效。例如，在自然語言處理中，RNN 可以利用前面的單詞來預測下一個單詞。
-
靈活性：RNN 的結構可以靈活地處理不同長度的序列數據，適用于各種序列任務，如語言建模、機器翻譯、語音識別等。
-
動態性：RNN 的狀態是動態變化的，能夠適應序列中的時間依賴性。
