歡迎大家關注我們的網站和系列教程：http://www.tensorflownews.com/，學習更多的機器學習、深度學習的知識！
上一篇文章中一直圍繞著CNN處理圖像數據進行講解，而CNN除了處理圖像數據之外，還適用于文本分類。CNN模型首次使用在文本分類，是Yoon Kim發表的“Convolutional Neural Networks for Sentence Classification”論文中。在講解text-CNN之前，先介紹自然語言處理和Keras對自然語言的預處理。
自然語言處理就是通過對文本進行分析，從文本中提取關鍵詞來讓計算機處理或理解自然語言，完成一些有用的應用，如：情感分析，問答系統等。比如在情感分析中，其本質就是根據已知的文字和情感符號（如評論等）推測這段文字是正面還是負面的。想象一下，如果我們能夠更加精確地進行情感分析，可以大大提升人們對于事物的理解效率。比如不少基金公司利用人們對于某家公司的看法態度來預測未來股票的漲跌。
接下來將使用imdb影評數據集簡單介紹Keras如何預處理文本數據。該數據集在這里下載。由于下載得的是tar.gz壓縮文件，可以使用python的tarfile模塊解壓。解壓后的目錄為：
1.讀取imdb數據集
我們通過以下函數分別讀取train和test中的所有影評
?
得到的影評如下圖，每條影評用雙引號包住。
?
2.使用Tokenizer將影評文字轉換成數字特征
在上文中已經得到了每條影評文字了，但是text-CNN的輸入應該是數字矩陣。可以使用Keras的Tokenizer模塊實現轉換。
簡單講解Tokenizer如何實現轉換。當我們創建了一個Tokenizer對象后，使用該對象的fit_on_texts()函數，可以將輸入的文本中的每個詞編號，編號是根據詞頻的，詞頻越大，編號越小。可能這時會有疑問：Tokenizer是如何判斷文本的一個詞呢？其實它是以空格去識別每個詞。因為英文的詞與詞之間是以空格分隔，所以我們可以直接將文本作為函數的參數，但是當我們處理中文文本時，我們需要使用分詞工具將詞與詞分開，并且詞間使用空格分開。具體實現如下：
?
使用word_index屬性可以看到每次詞對應的編碼，可以發現類似”the”、”a”等詞的詞頻很高，但是這些詞并不能表達文本的主題，我們稱之為停用詞。對文本預處理的過程中，我們希望能夠盡可能提取到更多關鍵詞去表達這句話或文本的中心思想，因此我們可以將這些停用詞去掉后再編碼。網上有許多歸納好的停用詞，大家可以下載了之后，去除該文本中的停用詞。
?
對每個詞編碼之后，每句影評中的每個詞就可以用對應的編碼表示，即每條影評已經轉變成一個向量了：
3.讓每句數字影評長度相同
對每個詞編碼之后，每句影評中的每個詞就可以用對應的編碼表示，即每條影評已經轉變成一個向量。但是，由于影評的長度不唯一，需要將每條影評的長度設置一個固定值。
?
每個句子的長度都固定為150，如果長度大于150，則將超過的部分截掉；如果小于150，則在最前面用0填充。每個句子如下：
4.使用Embedding層將每個詞編碼轉換為詞向量
通過以上操作，已經將每個句子變成一個向量，但上文已經提及text-CNN的輸入是一個數字矩陣，即每個影評樣本應該是以一個矩陣，每一行代表一個詞，因此，需要將詞編碼轉換成詞向量。使用Keras的Embedding層可以實現轉換。Embedding層基于上文所得的詞編碼，對每個詞進行one-hot編碼，每個詞都會以一個vocabulary_size(如上文的2000)維的向量；然后通過神經網絡的訓練迭代更新得到一個合適的權重矩陣（具體實現過程可以參考skip-gram模型），行大小為vocabulary_size，列大小為詞向量的維度，將本來以one-hot編碼的詞向量映射到低維空間，得到低維詞向量。比如the的編號為1，則對應的詞向量為權重矩陣的第一行向量。如下圖，藍色線對應權重值組成了該詞的詞向量。需要聲明一點的是Embedding層是作為模型的第一層，在訓練模型的同時，得到該語料庫的詞向量。當然，也可以使用已經預訓練好的詞向量表示現有語料庫中的詞。
至此已經將文本數據預處理完畢，將每個影評樣本轉換為一個數字矩陣，矩陣的每一行表示一個詞向量。下圖梳理了處理文本數據的一般步驟。在此基礎上，可以針對相應數據集的特點對數據集進行特定的處理。比如：在該數據集中影評可能含有一些html標簽，我們可以使用正則表達式將這些標簽去除。
下一篇文章，我們將介紹text-CNN模型，利用該模型對imdb數據集進行情感分析，并在文末給出整個項目的完整代碼鏈接。歡迎持續關注!
)
