介紹：

歡迎來到本篇文章！在這里，我們將探討一個常見而重要的自然語言處理任務——文本分類。具體而言，我們將關注情感分析任務，即通過分析電影評論的情感來判斷評論是正面的、負面的。

展示：
訓練展示如下：

實際使用如下：

實現方式：

選擇PyTorch作為深度學習框架，使用電影評論IMDB數據集，并結合torchtext對數據進行預處理。

環境：

Windows+Anaconda
重要庫版本信息
torch==1.8.2+cu102
torchaudio==0.8.2
torchdata==0.7.1
torchtext==0.9.2
torchvision==0.9.2+cu102

實現思路：

1、數據集
本次使用的是IMDB數據集，IMDB是一個含有50000條關于電影評論的數據集
數據如下：

2、數據加載與預處理
使用torchtext加載IMDB數據集，并對數據集進行劃分
具體劃分如下：

TEXT = data.Field(tokenize='spacy', tokenizer_language='en_core_web_sm')
LABEL = data.LabelField(dtype=torch.float)
# Load the IMDB dataset
train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)

創建一個 Field 對象，用于處理文本數據。同時使用spacy分詞器對文本進行分詞，由于IMDB是英文的，所以使用en_core_web_sm語言模型。
創建一個 LabelField 對象，用于處理標簽數據。設置dtype 參數為 torch.float，表示標簽的數據類型為浮點型。

使用 datasets.IMDB.splits 方法加載 IMDB 數據集，并將文本字段 TEXT 和標簽字段 LABEL 傳遞給該方法。返回的 train_data 和 test_data 包含了 IMDB 數據集的訓練和測試部分。
下面是train_data的輸出

3、構建詞匯表與加載預訓練詞向量

TEXT.build_vocab(train_data,max_size=25000,vectors="glove.6B.100d",unk_init=torch.Tensor.normal_)
LABEL.build_vocab(train_data)

train_data:表示使用train_data中數據構建詞匯表
max_size:限制詞匯表的大小為 25000
vectors=“glove.6B.100d”:表示使用預訓練的 GloVe 詞向量，其中 “glove.6B.100d” 指的是包含 100 維向量的 6B 版 GloVe。
unk_init=torch.Tensor.normal_ ：表示指定未知單詞（UNK）的初始化方式，這里使用正態分布進行初始化。
LABEL.build_vocab(train_data):表示對標簽進行類似的操作，構建標簽的詞匯表

train_iterator, valid_iterator, test_iterator = data.BucketIterator.splits( (train_data, valid_data, test_data), batch_size=BATCH_SIZE, device=device)

使用data.BucketIterator.splits 來創建數據加載器，包括訓練、驗證和測試集的迭代器。這將確保你能夠方便地以批量的形式獲取數據進行訓練和評估。

4、定義神經網絡
這里的網絡定義比較簡單，主要采用在詞嵌入層(embedding)后接一個全連接層的方式完成對文本數據的分類。
具體如下：

class NetWork(nn.Module):def __init__(self,vocab_size,embedding_dim,output_dim,pad_idx):super(NetWork,self).__init__()self.embedding = nn.Embedding(vocab_size,embedding_dim,padding_idx=pad_idx)self.fc = nn.Linear(embedding_dim,output_dim)self.dropout = nn.Dropout(0.5)self.relu = nn.ReLU()def forward(self,x):embedded = self.embedding(x)embedded = embedded.permute(1,0,2) pooled = F.avg_pool2d(embedded, (embedded.shape[1], 1)).squeeze(1)pooled = self.relu(pooled)pooled = self.dropout(pooled)output = self.fc(pooled)return output

5、模型初始化

vocab_size = len(TEXT.vocab)
embedding_dim  = 100
output = 1
pad_idx = TEXT.vocab.stoi[TEXT.pad_token]
model = NetWork(vocab_size,embedding_dim,output,pad_idx)
pretrained_embeddings = TEXT.vocab.vectors
model.embedding.weight.data.copy_(pretrained_embeddings)

定義模型的超參數，包括詞匯表大小（vocab_size）、詞向量維度（embedding_dim）、輸出維度（output，在這個任務中是1，因為是二元分類，所以使用1），以及 PAD 標記的索引（pad_idx）

之后需要將預訓練的詞向量加載到嵌入層的權重中。TEXT.vocab.vectors 包含了詞匯表中每個單詞的預訓練詞向量，然后通過 copy_ 方法將這些詞向量復制到模型的嵌入層權重中對網絡進行初始化。這樣做確保了模型的初始化狀態良好。

6、訓練模型

 total_loss = 0train_acc = 0 
model.train()
for batch in train_iterator:optimizer.zero_grad()preds = model(batch.text).squeeze(1)loss = criterion(preds,batch.label)total_loss += loss.item()batch_acc = (torch.round(torch.sigmoid(preds)) == batch.label).sum().item()train_acc += batch_accloss.backward()optimizer.step()average_loss = total_loss / len(train_iterator)train_acc /= len(train_iterator.dataset)

optimizer.zero_grad()：表示將模型參數的梯度清零，以準備接收新的梯度。
preds = model(batch.text).squeeze(1):表示一次前向傳播的過程，由于model輸出的是torch.tensor(batch_size,1)所以使用squeeze(1)給其中的1維度數據去除，以匹配標簽張量的形狀
criterion(preds,batch.label):定義的損失函數 criterion 計算預測值 preds 與真實標簽 batch.label 之間的損失

(torch.round(torch.sigmoid(preds)) == batch.label).sum().item():
通過比較模型的預測值與真實標簽，計算當前批次的準確率，并將其累加到 train_acc 中
后面的就是進行反向傳播更新參數，還有就是計算loss和train_acc的值了
7、模型評估：

model.eval()valid_loss = 0valid_acc = 0best_valid_acc = 0with torch.no_grad():for batch in valid_iterator:preds = model(batch.text).squeeze(1)loss = criterion(preds,batch.label)valid_loss += loss.item()batch_acc = ((torch.round(torch.sigmoid(preds)) == batch.label).sum().item())valid_acc += batch_acc

和訓練模型的類似，這里就不解釋了

8、保存模型
這里一共使用了兩種保存模型的方式:

torch.save(model, "model.pth")
torch.save(model.state_dict(),"model.pth")

第一種方式叫做模型的全量保存
第二種方式叫做模型的參數保存

全量保存是保存了整個模型，包括模型的結構、參數、優化器狀態等信息
參數量保存是保存了模型的參數（state_dict），不包括模型的結構
9、測試模型
測試模型的基本思路：
加載訓練保存的模型、對待推理的文本進行預處理、將文本數據加載給模型進行推理

加載模型：

saved_model_path = "model.pth"
saved_model = torch.load(saved_model_path)

輸入文本：
input_text = “Great service! The staff was very friendly and helpful.”

文本進行處理:

tokenizer = get_tokenizer("spacy", language="en_core_web_sm")
tokenized_text = tokenizer(input_text)
indexed_text = [TEXT.vocab.stoi[token] for token in tokenized_text]
tensor_text = torch.LongTensor(indexed_text).unsqueeze(1).to(device)

模型推理:

saved_model.eval()
with torch.no_grad():output = saved_model(tensor_text).squeeze(1)prediction = torch.round(torch.sigmoid(output)).item()probability = torch.sigmoid(output).item()

由于筆者能力有限，所以在描述的過程中難免會有不準確的地方，還請多多包含！

更多NLP和CV文章以及完整代碼請到"陶陶name"獲取。