在自然語言處理（NLP）領域，文本分類是研究最多且應用最廣泛的任務之一。從情感分析到主題識別，文本分類技術在眾多場景中都發揮著重要作用。最近，我參與了一次基于 TextCNN 模型的文本分類實驗，從數據準備到模型構建、訓練、測試和預測，全程體驗了這一過程。今天，我想和大家分享這次實驗的詳細過程和收獲。

一、實驗背景與目的

TextCNN（Text Convolutional Neural Network）是一種經典的深度學習模型，專門用于處理文本分類任務。它通過卷積神經網絡（CNN）提取文本中的局部特征，并利用池化操作對特征進行聚合，從而實現高效的文本分類。TextCNN 的優勢在于其能夠捕捉文本中的短語級特征，并且在大規模數據集上表現出色。

本次實驗的目標是：

1. 掌握 TextCNN 模型的原理與結構，理解其在文本分類任務中的應用。
2. 學習使用 Python 和 PyTorch 框架實現 TextCNN 模型的構建、訓練與測試。
3. 通過實驗對比不同參數設置下 TextCNN 模型的性能，分析其對文本分類效果的影響。
4. 提升對深度學習在自然語言處理領域應用的理解和實踐能力。

二、實驗環境與工具

軟件環境

• Python 版本：3.9
• PyTorch 版本：2.3.0
• 其他依賴庫：
  • NumPy
  • SciPy
  • scikit-learn
  • tqdm
  • tensorboardX
  • matplotlib（用于可視化）

數據集

• 數據集名稱：THUCNews
• 數據集來源：文末鏈接
• 數據集規模：訓練集 [X] 條，驗證集 [X] 條，測試集 [X] 條
• 數據集特點：包含多個類別，涵蓋財經、房產、教育、科技等常見新聞領域，文本長度分布較為廣泛，適合用于文本分類任務。

環境參考：

基于 TF-IDF、TextRank 和 Word2Vec 的關鍵詞提取方法對比與實踐-CSDN博客

三、實驗內容與步驟

（一）數據準備

1. 數據下載
   從從文末鏈接下載 THUCNews 數據集，并解壓到指定目錄。
2. 數據預處理
   • 使用 utils.py 中的 build_vocab 函數構建詞匯表，設置最大詞匯量為 10000，最小詞頻為 1。
   • 使用 build_dataset 函數對訓練集、驗證集和測試集進行處理，將文本轉換為詞 ID 序列，并進行填充或截斷，統一文本長度為 32。
   • 保存處理后的數據集和詞匯表，供后續模型訓練使用。

（二）模型構建

1. 模型選擇
   選擇 TextCNN 模型進行文本分類任務。
2. 模型配置
   • 使用 TextCNN.py 中的 Config 類配置模型參數：
     • 預訓練詞向量：加載 embedding_SougouNews.npz 作為預訓練詞向量。
     • 卷積核尺寸：設置為 (2, 3, 4)，卷積核數量為 256。
     • Dropout 率：設置為 0.5，防止過擬合。
     • 學習率：設置為 1e-3，訓練輪數為 20 輪。
     • 批量大小：設置為 128。
   • 根據配置初始化 TextCNN 模型。

（三）模型訓練

1. 訓練過程
   • 使用 run.py 啟動模型訓練。
   • 在訓練過程中，通過 train_eval.py 中的 train 函數實現模型的訓練和驗證。
   • 每隔 100 個批次計算一次訓練集和驗證集的損失和準確率，并使用 SummaryWriter 記錄到 TensorBoard 中。
   • 若連續 1000 個批次驗證集損失未下降，則提前終止訓練。
   • 保存驗證集損失最低的模型權重到指定路徑。

（四）模型測試

1. 測試過程
   • 使用 train_eval.py 中的 test 函數對測試集進行評估。
   • 加載訓練好的模型權重，對測試集進行預測。
   • 計算測試集的準確率、損失、分類報告（包括精確率、召回率和 F1 分數）以及混淆矩陣。
   • 輸出測試結果。

（五）模型預測

1. 預測過程
   • 使用 text_mixture_predict.py 對新的文本數據進行分類預測。
   • 加載詞匯表和訓練好的模型權重。
   • 將輸入文本轉換為詞 ID 序列，并進行填充或截斷。
   • 調用 final_predict 函數，輸出預測結果，包括文本及其對應的分類標簽。

四、實驗結果與分析

運行

在控制臺窗口下運行：（先進入conda環境）
python run.py --model=TextCNN

（一）模型性能

在 THUCNews 數據集上，TextCNN 模型達到了 [X]% 的測試集準確率，表明其對不同類別的新聞文本具有較好的分類能力。預訓練詞向量的使用顯著提升了模型的性能。通過加載 embedding_SougouNews.npz 預訓練詞向量，模型在訓練初期就能快速收斂，并且最終的分類效果優于隨機初始化詞向量的情況。

（二）參數影響

實驗中，我們對比了不同參數設置下 TextCNN 模型的性能。例如：

• 卷積核尺寸：設置為 (2, 3, 4) 時，模型能夠捕捉到不同長度的短語級特征，效果優于單一卷積核尺寸。
• Dropout 率：設置為 0.5 時，有效防止了過擬合，提升了模型的泛化能力。
• 學習率：1e-3 的學習率在訓練過程中表現穩定，收斂速度較快。

（三）可視化結果

通過 TensorBoard，我們可視化了訓練過程中的損失和準確率變化曲線。從圖中可以看出，模型在訓練初期快速收斂，驗證集損失在訓練后期趨于平穩，表明模型已經達到了較好的訓練效果。

五、結論與體會

（一）TextCNN 模型的優勢

TextCNN 模型在文本分類任務中表現出色，能夠有效提取文本中的局部特征，并通過卷積和池化操作實現對文本的分類。其結構簡單，訓練速度快，適合處理大規模文本數據。

（二）預訓練詞向量的重要性

預訓練詞向量的使用顯著提升了模型的性能。通過加載預訓練詞向量，模型在訓練初期就能快速收斂，并且最終的分類效果優于隨機初始化詞向量的情況。

（三）實驗過程中的挑戰與收獲

實驗過程中，我們遇到了一些挑戰，例如數據預處理的復雜性和模型調優的困難。通過查閱資料和團隊討論，我們逐步解決了這些問題，并從中積累了寶貴的經驗。這次實驗不僅提升了我對深度學習在自然語言處理領域應用的理解，還鍛煉了我的實踐能力。

（四）未來展望

未來，我希望能夠將所學知識應用到更多實際場景中，探索更多先進的文本分類算法和技術，例如 BERT 等預訓練語言模型。同時，我也希望能夠進一步優化模型結構和參數，提升模型的性能。

如果你對 TextCNN 模型或文本分類感興趣，歡迎留言交流！

代碼鏈接

通過網盤分享的文件：TextCNN 模型.rar
鏈接: https://pan.baidu.com/s/1AW0KiH6bFLtNQFX-8wTuyA?pwd=kji7 提取碼: kji7