RNN，即循環神經網絡（Recurrent Neural Network），是一種深度學習模型，特別適用于處理序列數據。以下是對RNN的簡要介紹：
RNN的特點：
- 記憶性：與傳統的前饋神經網絡不同，RNN具有內部狀態（記憶），可以捕獲到目前為止觀察到的序列信息。
- 參數共享：在處理序列的不同時間步時，RNN使用相同的權重，這意味著模型的參數數量不會隨著輸入序列長度的增加而增加。
- 靈活性：RNN能夠處理任意長度的輸入序列。
RNN的結構：
- 輸入層：接收序列中的單個元素。
- 隱藏層：包含循環單元，這些單元具有記憶功能，能夠存儲之前的信息。
- 輸出層：根據當前輸入和隱藏層的狀態輸出結果。
RNN的類型：
- 簡單RNN：基礎模型，但容易受到梯度消失和梯度爆炸問題的影響。
- LSTM（長短期記憶網絡）：通過引入門控機制，解決了簡單RNN的長期依賴問題。
- GRU（門控循環單元）：LSTM的變體，結構更簡單，但性能相似。
應用場景：
- 自然語言處理：如語言模型、機器翻譯、文本生成等。
- 語音識別：將語音信號轉換為文本。
- 時間序列預測：如股票價格預測、天氣預報等。
數據下載模塊
import os
import shutil
import requests
import tempfile
from tqdm import tqdm
from typing import IO
from pathlib import Path# 指定保存路徑為 `home_path/.mindspore_examples`
cache_dir = Path.home() / '.mindspore_examples'def http_get(url: str, temp_file: IO):"""使用requests庫下載數據，并使用tqdm庫進行流程可視化"""req = requests.get(url, stream=True)content_length = req.headers.get('Content-Length')total = int(content_length) if content_length is not None else Noneprogress = tqdm(unit='B', total=total)for chunk in req.iter_content(chunk_size=1024):if chunk:progress.update(len(chunk))temp_file.write(chunk)progress.close()def download(file_name: str, url: str):"""下載數據并存為指定名稱"""if not os.path.exists(cache_dir):os.makedirs(cache_dir)cache_path = os.path.join(cache_dir, file_name)cache_exist = os.path.exists(cache_path)if not cache_exist:with tempfile.NamedTemporaryFile() as temp_file:http_get(url, temp_file)temp_file.flush()temp_file.seek(0)with open(cache_path, 'wb') as cache_file:shutil.copyfileobj(temp_file, cache_file)return cache_pathimdb_path = download('aclImdb_v1.tar.gz', 'https://mindspore-website.obs.myhuaweicloud.com/notebook/datasets/aclImdb_v1.tar.gz')
imdb_path加載IMDB數據集
import re
import six
import string
import tarfileclass IMDBData():"""IMDB數據集加載器加載IMDB數據集并處理為一個Python迭代對象。"""label_map = {"pos": 1,"neg": 0}def __init__(self, path, mode="train"):self.mode = modeself.path = pathself.docs, self.labels = [], []self._load("pos")self._load("neg")def _load(self, label):pattern = re.compile(r"aclImdb/{}/{}/.*\.txt$".format(self.mode, label))# 將數據加載至內存with tarfile.open(self.path) as tarf:tf = tarf.next()while tf is not None:if bool(pattern.match(tf.name)):# 對文本進行分詞、去除標點和特殊字符、小寫處理self.docs.append(str(tarf.extractfile(tf).read().rstrip(six.b("\n\r")).translate(None, six.b(string.punctuation)).lower()).split())self.labels.append([self.label_map[label]])tf = tarf.next()def __getitem__(self, idx):return self.docs[idx], self.labels[idx]def __len__(self):return len(self.docs)
imdb_train = IMDBData(imdb_path, 'train')
len(imdb_train)
import mindspore.dataset as dsdef load_imdb(imdb_path):imdb_train = ds.GeneratorDataset(IMDBData(imdb_path, "train"), column_names=["text", "label"], shuffle=True, num_samples=10000)imdb_test = ds.GeneratorDataset(IMDBData(imdb_path, "test"), column_names=["text", "label"], shuffle=False)return imdb_train, imdb_test
imdb_train, imdb_test = load_imdb(imdb_path)
imdb_train加載預訓練詞向量
預訓練詞向量是對輸入單詞的數值化表示，通過nn.Embedding層，采用查表的方式，輸入單詞對應詞表中的index，獲得對應的表達向量。 因此進行模型構造前，需要將Embedding層所需的詞向量和詞表進行構造。
import zipfile
import numpy as npdef load_glove(glove_path):glove_100d_path = os.path.join(cache_dir, 'glove.6B.100d.txt')if not os.path.exists(glove_100d_path):glove_zip = zipfile.ZipFile(glove_path)glove_zip.extractall(cache_dir)embeddings = []tokens = []with open(glove_100d_path, encoding='utf-8') as gf:for glove in gf:word, embedding = glove.split(maxsplit=1)tokens.append(word)embeddings.append(np.fromstring(embedding, dtype=np.float32, sep=' '))# 添加 <unk>, <pad> 兩個特殊占位符對應的embeddingembeddings.append(np.random.rand(100))embeddings.append(np.zeros((100,), np.float32))vocab = ds.text.Vocab.from_list(tokens, special_tokens=["<unk>", "<pad>"], special_first=False)embeddings = np.array(embeddings).astype(np.float32)return vocab, embeddings
glove_path = download('glove.6B.zip', 'https://mindspore-website.obs.myhuaweicloud.com/notebook/datasets/glove.6B.zip')
vocab, embeddings = load_glove(glove_path)
len(vocab.vocab())
idx = vocab.tokens_to_ids('the')
embedding = embeddings[idx]
idx, embedding數據集預處理
通過加載器加載的IMDB數據集進行了分詞處理，但不滿足構造訓練數據的需要，因此要對其進行額外的預處理。其中包含的預處理如下：
- 通過Vocab將所有的Token處理為index id。
- 將文本序列統一長度，不足的使用
<pad>補齊，超出的進行截斷。 -
import mindspore as mslookup_op = ds.text.Lookup(vocab, unknown_token='<unk>') pad_op = ds.transforms.PadEnd([500], pad_value=vocab.tokens_to_ids('<pad>')) type_cast_op = ds.transforms.TypeCast(ms.float32) imdb_train = imdb_train.map(operations=[lookup_op, pad_op], input_columns=['text']) imdb_train = imdb_train.map(operations=[type_cast_op], input_columns=['label'])imdb_test = imdb_test.map(operations=[lookup_op, pad_op], input_columns=['text']) imdb_test = imdb_test.map(operations=[type_cast_op], input_columns=['label']) imdb_train, imdb_valid = imdb_train.split([0.7, 0.3]) imdb_train = imdb_train.batch(64, drop_remainder=True) imdb_valid = imdb_valid.batch(64, drop_remainder=True)Embedding
Embedding層又可稱為EmbeddingLookup層，其作用是使用index id對權重矩陣對應id的向量進行查找，當輸入為一個由index id組成的序列時，則查找并返回一個相同長度的矩陣
-
RNN(循環神經網絡)
循環神經網絡（Recurrent Neural Network, RNN）是一類以序列（sequence）數據為輸入，在序列的演進方向進行遞歸（recursion）且所有節點（循環單元）按鏈式連接的神經網絡。
Dense
在經過LSTM編碼獲取句子特征后，將其送入一個全連接層，即nn.Dense，將特征維度變換為二分類所需的維度1，經過Dense層后的輸出即為模型預測結果。
import math
import mindspore as ms
import mindspore.nn as nn
import mindspore.ops as ops
from mindspore.common.initializer import Uniform, HeUniformclass RNN(nn.Cell):def __init__(self, embeddings, hidden_dim, output_dim, n_layers,bidirectional, pad_idx):super().__init__()vocab_size, embedding_dim = embeddings.shapeself.embedding = nn.Embedding(vocab_size, embedding_dim, embedding_table=ms.Tensor(embeddings), padding_idx=pad_idx)self.rnn = nn.LSTM(embedding_dim,hidden_dim,num_layers=n_layers,bidirectional=bidirectional,batch_first=True)weight_init = HeUniform(math.sqrt(5))bias_init = Uniform(1 / math.sqrt(hidden_dim * 2))self.fc = nn.Dense(hidden_dim * 2, output_dim, weight_init=weight_init, bias_init=bias_init)def construct(self, inputs):embedded = self.embedding(inputs)_, (hidden, _) = self.rnn(embedded)hidden = ops.concat((hidden[-2, :, :], hidden[-1, :, :]), axis=1)output = self.fc(hidden)return output
hidden_size = 256
output_size = 1
num_layers = 2
bidirectional = True
lr = 0.001
pad_idx = vocab.tokens_to_ids('<pad>')model = RNN(embeddings, hidden_size, output_size, num_layers, bidirectional, pad_idx)
loss_fn = nn.BCEWithLogitsLoss(reduction='mean')
optimizer = nn.Adam(model.trainable_params(), learning_rate=lr)
def forward_fn(data, label):logits = model(data)loss = loss_fn(logits, label)return lossgrad_fn = ms.value_and_grad(forward_fn, None, optimizer.parameters)def train_step(data, label):loss, grads = grad_fn(data, label)optimizer(grads)return lossdef train_one_epoch(model, train_dataset, epoch=0):model.set_train()total = train_dataset.get_dataset_size()loss_total = 0step_total = 0with tqdm(total=total) as t:t.set_description('Epoch %i' % epoch)for i in train_dataset.create_tuple_iterator():loss = train_step(*i)loss_total += loss.asnumpy()step_total += 1t.set_postfix(loss=loss_total/step_total)t.update(1)
》是什么級別的期刊？是正規期刊嗎？能評職稱嗎？)
