一、

1、DataSet 是抽象類，不能實例化對象，主要是用于構造我們的數據集

2、DataLoader 需要獲取DataSet提供的索引[i]和len;用來幫助我們加載數據，比如說做shuffle(提高數據集的隨機性)，batch_size,能拿出Mini-Batch進行訓練。它幫我們自動完成這些工作。DataLoader可實例化對象。DataLoader is a class to help us loading data in Pytorch.

3、__getitem__目的是為支持下標(索引)操作
?

二、

import torch
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoader# prepare datasetclass DiabetesDataset(Dataset):def __init__(self, filepath):xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)self.len = xy.shape[0] # shape(多少行，多少列)self.x_data = torch.from_numpy(xy[:, :-1])self.y_data = torch.from_numpy(xy[:, [-1]])def __getitem__(self, index):return self.x_data[index], self.y_data[index]def __len__(self):return self.lendataset = DiabetesDataset('diabetes.csv')
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=0) #num_workers 多線程# design model using classclass Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.linear1 = torch.nn.Linear(8, 6)self.linear2 = torch.nn.Linear(6, 4)self.linear3 = torch.nn.Linear(4, 1)self.sigmoid = torch.nn.Sigmoid()def forward(self, x):x = self.sigmoid(self.linear1(x))x = self.sigmoid(self.linear2(x))x = self.sigmoid(self.linear3(x))return xmodel = Model()# construct loss and optimizer
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)# training cycle forward, backward, update
if __name__ == '__main__':for epoch in range(100):for i, data in enumerate(train_loader, 0): # train_loader 是先shuffle后mini_batchinputs, labels = datay_pred = model(inputs)loss = criterion(y_pred, labels)print(epoch, i, loss.item())optimizer.zero_grad()loss.backward()optimizer.step()

1、需要mini_batch 就需要import DataSet和DataLoader

2、繼承DataSet的類需要重寫init，getitem,len魔法函數。分別是為了加載數據集，獲取數據索引，獲取數據總量。

3、DataLoader對數據集先打亂(shuffle)，然后劃分成mini_batch。

4、len函數的返回值 除以 batch_size 的結果就是每一輪epoch中需要迭代的次數。

5、inputs, labels = data中的inputs的shape是[32,8],labels 的shape是[32,1]。也就是說mini_batch在這個地方體現的

6、diabetes.csv數據集老師給了下載地址，該數據集需和源代碼放在同一個文件夾內。

問題：loss沒有收斂

網友解決：

做了兩個實驗：（1）輸出每批次的loss，不收斂，loss在0.6上下浮動（2）每個epoch都不分批，把所有樣本都輸入，收斂，最后結果在0.6附近。所以猜測：小樣本之間的loss差距相對于0.6而言有點大，所以看著像是沒收斂，實際上從總loss來看已經收斂了