數據集

• 環境準備

# 實驗環境已經預裝了mindspore==2.2.14，如需更換mindspore版本，可更改下面mindspore的版本號
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
import numpy as np
from mindspore.dataset import vision
from mindspore.dataset import MnistDataset, GeneratorDataset
import matplotlib.pyplot as plt

數據集加載

• 以Mnist數據集為例
• mindspore.dateset提供的接口僅支持解壓后的數據文件，使用download庫下載數據集并解壓。

# 從開源庫下載數據集
from download import download
url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \"notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)
train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)

數據集迭代

def visualize(dataset):figure = plt.figure(figsize=(4, 4)) #定義圖片大小cols, rows = 3, 3 #定義迭代生成圖排列順序plt.subplots_adjust(wspace=0.5, hspace=0.5) # 調整子圖之間的寬度和高度for idx, (image, label) in enumerate(dataset.create_tuple_iterator()): # 迭代過程figure.add_subplot(rows, cols, idx + 1)plt.title(int(label))plt.axis("off")plt.imshow(image.asnumpy().squeeze(), cmap="gray")if idx == cols * rows - 1:breakplt.show()visualize(train_dataset)

數據集常用操作

• shuffle
  • 消除數據排列造成的分布不均問題

  train_dataset = train_dataset.shuffle(buffer_size=64)
  

• map
  • 針對數據集指定列添加數據變換，將數據變換應用于該列數據的每個元素，并返回包含變換后元素的新數據集

    image, label = next(train_dataset.create_tuple_iterator())
    #(28, 28, 1) UInt8
    train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')
    image, label = next(train_dataset.create_tuple_iterator())
    #Output (28, 28, 1) Float32
    

• batch - 將數據集打包成batch是在有限硬件資源下使用梯度下降進行模型優化的折中辦法，可以保證梯度下降的隨機性和優化計算量

  train_dataset = train_dataset.batch(batch_size=32)
  image, label = next(train_dataset.create_tuple_iterator())
  # Output (32, 28, 28, 1) Float32
  

自定義數據集

可隨機訪問數據集

• 通過索引/鍵直接訪問對應位置的數據樣本

  # 可隨機訪問數據集
  class RandomAccessDataset:def __init__(self):self._data = np.ones((5, 2))self._label = np.zeros((5, 1))def __getitem__(self, index):return self._data[index], self._label[index]def __len__(self):return len(self._data)
  

可迭代數據集

• 通過迭代方式逐步獲取數據樣本。適用于隨機訪問成本不太高或者不可行的方案。

  #迭代器作為輸入源
  class IterableDataset():def __init__(self, start, end):'''init the class object to hold the data'''self.start = startself.end = enddef __next__(self):'''iter one data and return'''return next(self.data)def __iter__(self):'''reset the iter'''self.data = iter(range(self.start, self.end))return self
  

生成器

• 直接依賴Python的生成器類型generator返回數據，直至生成器拋出異常

  def my_generator(start, end):for i in range(start, end):yield i