一、介紹

????????文本語料在輸送給NLP模型前，需要一系列的預處理工作，才能符合模型輸入的要求。對于NLP來說，他學習一篇人類書寫的文章不是整體的來學習，而是一個詞一個詞的來學習。所以文本預處理的第一個步驟就是對文本進行分詞處理。（之前可能還有一些文本清洗的工作，比如去除特殊字符，清理掉不需要的特殊符號，統一大小寫等等，但這不是NLP的重點。）

????????首先我們介紹一款常用的中文分詞器——jieba分詞器。英文分詞比較簡單，因為這些單詞之間以空格為分割，可以快速的把它們給分離出來。但是中文分詞比較復雜，因為中文單詞之間沒有明顯的界限。

????????目前的中文分詞產品有基于詞典的，基于統計模型的，和基于深度學習的，結巴分詞器是基于詞典的。

jieba分詞器分詞的方法是正向最大匹配

安裝jieba分詞器?：

pip install jieba

兩種分詞模式

import jieba# 全模式，將迭代器轉為字符串
seg_list = jieba.cut("話說天下大勢，分久必合，合久必分。", cut_all=True)
print("全模式: " + "/".join(seg_list)) # 精確模式
seg_list = jieba.cut("話說天下大勢，分久必合，合久必分。", cut_all=False)
print("精確模式: " + "/".join(seg_list))# 默認是精確模式
seg_list = jieba.cut("話說天下大勢，分久必合，合久必分。") 
print("默認模式: " + "/".join(seg_list))

['話', '說', '天下', '大勢', '，', '分久必合', '，', '合久必分', '。']

二、添加自定義字典

????????通過分詞過程，我們發現基于詞典的分詞方法，對詞典的依賴非常高，遇到一些專有名詞，網絡名詞，或者有歧義的詞分割就會出現一些問題，比如“百戰程序員”是一個專有名詞但沒有分出來，再比如：

三、抽取關鍵詞

????????除了分詞，jieba還可以提取一篇文章中的關鍵詞，jieba提取關鍵詞的有兩種算法：TF-IDF 算法（詞頻-逆文檔頻率）和 TextRank 算法，更常用的是TF-IDF算法

????????一個詞語在一篇文章中出現次數越多，同時在所有文檔中出現次數越少，越能夠代表該文章

import jieba.analysetext='''
第一回  宴桃園豪杰三結義  斬黃巾英雄首立功
話說天下大勢，分久必合，合久必分。周末七國分爭，并入于秦。及秦滅之后，楚、漢分爭，又并入于漢。漢朝自高祖斬白蛇而起義，一統天下，后來光武中興，傳至獻帝，遂分為三國。推其致亂之由，殆始于桓、靈二帝。桓帝禁錮善類，崇信宦官。及桓帝崩，靈帝即位，大將軍竇武、太傅陳蕃共相輔佐。時有宦官曹節等弄權，竇武、陳蕃謀誅之，機事不密，反為所害，中涓自此愈橫。
建寧二年四月望日，帝御溫德殿。方升座，殿角狂風驟起。只見一條大青蛇，從梁上飛將下來，蟠于椅上。帝驚倒，左右急救入宮，百官俱奔避。須臾，蛇不見了。忽然大雷大雨，加以冰雹，落到半夜方止，壞卻房屋無數。建寧四年二月，洛陽地震；又海水泛溢，沿海居民，盡被大浪卷入海中。光和元年，雌雞化雄。六月朔，黑氣十余丈，飛入溫德殿中。秋七月，有虹現于玉堂；五原山岸，盡皆崩裂。種種不祥，非止一端。帝下詔問群臣以災異之由，議郎蔡邕上疏，以為蜺墮雞化，乃婦寺干政之所致，言頗切直。帝覽奏嘆息，因起更衣。曹節在后竊視，悉宣告左右；遂以他事陷邕于罪，放歸田里。后張讓、趙忠、封谞、段珪、曹節、侯覽、蹇碩、程曠、夏惲、郭勝十人朋比為奸，號為"十常侍"。帝尊信張讓，呼為"阿父"。朝政日非，以致天下人心思亂，盜賊蜂起。
時巨鹿郡有兄弟三人，一名張角，一名張寶，一名張梁。那張角本是個不第秀才，因入山采藥，遇一老人，碧眼童顏，手執藜杖，喚角至一洞中，以天書三卷授之，曰："此名《太平要術》，汝得之，當代天宣化，普救世人；若萌異心，必獲惡報。"角拜問姓名。老人曰："吾乃南華老仙也。"言訖，化陣清風而去。角得此書，曉夜攻習，能呼風喚雨，號為"太平道人"。中平元年正月內，疫氣流行，張角散施符水，為人治病，自稱"大賢良師"。角有徒弟五百余人，云游四方，皆能書符念咒。次后徒眾日多，角乃立三十六方，大方萬余人，小方六七千，各立渠帥，稱為將軍；訛言："蒼天已死，黃天當立；歲在甲子，天下大吉。"令人各以白土書"甲子"二字于家中大門上。青、幽、徐、冀、荊、揚、兗、豫八州之人，家家侍奉大賢良師張角名字。角遣其黨馬元義，暗赍金帛，結交中涓封谞，以為內應。角與二弟商議曰："至難得者，民心也。今民心已順，若不乘勢取天下，誠為可惜。"遂一面私造黃旗，約期舉事；一面使弟子唐周，馳書報封谞。唐周乃徑赴省中告變。帝召大將軍何進調兵擒馬元義，斬之；次收封谞等一干人下獄。張角聞知事露，星夜舉兵，自稱"天公將軍"，張寶稱"地公將軍"，張梁稱"人公將軍"。申言于眾曰："今漢運將終，大圣人出。汝等皆宜順天從正，以樂太平。"四方百姓，裹黃巾從張角反者四五十萬。賊勢浩大，官軍望風而靡。何進奏帝火速降詔，令各處備御，討賊立功。一面遣中郎將盧植、皇甫嵩、朱儁，各引精兵、分三路討之。
且說張角一軍，前犯幽州界分。幽州太守劉焉，乃江夏竟陵人氏，漢魯恭王之后也。當時聞得賊兵將至，召校尉鄒靖計議。靖曰："賊兵眾，我兵寡，明公宜作速招軍應敵。"劉焉然其說，隨即出榜招募義兵。
榜文行到涿縣，引出涿縣中一個英雄。那人不甚好讀書；性寬和，寡言語，喜怒不形于色；素有大志，專好結交天下豪杰；生得身長七尺五寸，兩耳垂肩，雙手過膝，目能自顧其耳，面如冠玉，唇若涂脂；中山靖王劉勝之后，漢景帝閣下玄孫，姓劉名備，字玄德。昔劉勝之子劉貞，漢武時封涿鹿亭侯，后坐酎金失侯，因此遺這一枝在涿縣。玄德祖劉雄，父劉弘。弘曾舉孝廉，亦嘗作吏，早喪。玄德幼孤，事母至孝；家貧，販屨織席為業。家住本縣樓桑村。其家之東南，有一大桑樹，高五丈余，遙望之，童童如車蓋。相者云："此家必出貴人。"玄德幼時，與鄉中小兒戲于樹下，曰："我為天子，當乘此車蓋。"叔父劉元起奇其言，曰："此兒非常人也！"因見玄德家貧，常資給之。年十五歲，母使游學，嘗師事鄭玄、盧植，與公孫瓚等為友。
及劉焉發榜招軍時，玄德年已二十八歲矣。當日見了榜文，慨然長嘆。隨后一人厲聲言曰："大丈夫不與國家出力，何故長嘆？"玄德回視其人，身長八尺，豹頭環眼，燕頷虎須，聲若巨雷，勢如奔馬。玄德見他形貌異常，問其姓名。其人曰："某姓張名飛，字翼德。世居涿郡，頗有莊田，賣酒屠豬，專好結交天下豪杰。恰才見公看榜而嘆，故此相問。"玄德曰："我本漢室宗親，姓劉，名備。今聞黃巾倡亂，有志欲破賊安民，恨力不能，故長嘆耳。"飛曰："吾頗有資財，當招募鄉勇，與公同舉大事，如何。"玄德甚喜，遂與同入村店中飲酒。
正飲間，見一大漢，推著一輛車子，到店門首歇了，入店坐下，便喚酒保："快斟酒來吃，我待趕入城去投軍。"玄德看其人：身長九尺，髯長二尺；面如重棗，唇若涂脂；丹鳳眼，臥蠶眉，相貌堂堂，威風凜凜。玄德就邀他同坐，叩其姓名。其人曰："吾姓關名羽，字長生，后改云長，河東解良人也。因本處勢豪倚勢凌人，被吾殺了，逃難江湖，五六年矣。今聞此處招軍破賊，特來應募。"玄德遂以己志告之，云長大喜。同到張飛莊上，共議大事。飛曰："吾莊后有一桃園，花開正盛；明日當于園中祭告天地，我三人結為兄弟，協力同心，然后可圖大事。"玄德、云長齊聲應曰："如此甚好。"
次日，于桃園中，備下烏牛白馬祭禮等項，三人焚香再拜而說誓曰："念劉備、關羽、張飛，雖然異姓，既結為兄弟，則同心協力，救困扶危；上報國家，下安黎庶。不求同年同月同日生，只愿同年同月同日死。皇天后土，實鑒此心，背義忘恩，天人共戮！"誓畢，拜玄德為兄，關羽次之，張飛為弟。祭罷天地，復宰牛設酒，聚鄉中勇士，得三百余人，就桃園中痛飲一醉。來日收拾軍器，但恨無馬匹可乘。正思慮間，人報有兩個客人，引一伙伴當，趕一群馬，投莊上來。玄德曰："此天佑我也！"三人出莊迎接。原來二客乃中山大商：一名張世平，一名蘇雙，每年往北販馬，近因寇發而回。玄德請二人到莊，置酒管待，訴說欲討賊安民之意。二客大喜，愿將良馬五十匹相送；又贈金銀五百兩，鑌鐵一千斤，以資器用。
玄德謝別二客，便命良匠打造雙股劍。云長造青龍偃月刀，又名"冷艷鋸"，重八十二斤。張飛造丈八點鋼矛。各置全身鎧甲。共聚鄉勇五百余人，來見鄒靖。鄒靖引見太守劉焉。三人參見畢，各通姓名。玄德說起宗派，劉焉大喜，遂認玄德為侄。不數日，人報黃巾賊將程遠志統兵五萬來犯涿郡。劉焉令鄒靖引玄德等三人，統兵五百，前去破敵。玄德等欣然領軍前進，直至大興山下，與賊相見。賊眾皆披發，以黃巾抹額。當下兩軍相對，玄德出馬，左有云長，右有翼德，揚鞭大罵："反國逆賊，何不早降！"程遠志大怒，遣副將鄧茂出戰。張飛挺丈八蛇矛直出，手起處，刺中鄧茂心窩，翻身落馬。程遠志見折了鄧茂，拍馬舞刀，直取張飛。云長舞動大刀，縱馬飛迎。程遠志見了，早吃一驚，措手不及，被云長刀起處，揮為兩段。后人有詩贊二人曰：英雄露穎在今朝，一試矛兮一試刀。初出便將威力展，三分好把姓名標。
眾賊見程遠志被斬，皆倒戈而走。玄德揮軍追趕，投降者不計其數，大勝而回。劉焉親自迎接，賞勞軍士。次日，接得青州太守龔景牒文，言黃巾賊圍城將陷，乞賜救援。劉焉與玄德商議。玄德曰："備愿往救之。"劉焉令鄒靖將兵五千，同玄德、關、張，投青州來。賊眾見救軍至，分兵混戰。玄德兵寡不勝，退三十里下寨。
玄德謂關、張曰："賊眾我寡；必出奇兵，方可取勝。"乃分關公引一千軍伏山左，張飛引一千軍伏山右，鳴金為號，齊出接應。次日，玄德與鄒靖引軍鼓噪而進。賊眾迎戰，玄德引軍便退。賊眾乘勢追趕，方過山嶺，玄德軍中一齊鳴金，左右兩軍齊出，玄德摩軍回身復殺。三路夾攻，賊眾大潰。直趕至青州城下，太守龔景亦率民兵出城助戰。賊勢大敗，剿戮極多，遂解青州之圍。后人有詩贊玄德曰：運籌決算有神功，二虎還須遜一龍。初出便能垂偉績，自應分鼎在孤窮。
龔景犒軍畢，鄒靖欲回。玄德曰："近聞中郎將盧植與賊首張角戰于廣宗，備昔曾師事盧植，欲往助之。"于是鄒靖引軍自回，玄德與關、張引本部五百人投廣宗來。至盧植軍中，入帳施禮，具道來意。盧植大喜，留在帳前聽調。
時張角賊眾十五萬，植兵五萬，相拒于廣宗，未見勝負。植謂玄德曰："我今圍賊在此，賊弟張梁、張寶在潁川，與皇甫嵩、朱儁對壘。汝可引本部人馬，我更助汝一千官軍，前去潁川打探消息，約期剿捕。"玄德領命，引軍星夜投潁川來。
時皇甫嵩、朱儁領軍拒賊，賊戰不利，退入長社，依草結營。嵩與儁計曰："賊依草結營，當用火攻之。"遂令軍士，每人束草一把，暗地埋伏。其夜大風忽起。二更以后，一齊縱火，嵩與儁各引兵攻擊賊寨，火焰張天，賊眾驚慌，馬不及鞍，人不及甲，四散奔走。
殺到天明，張梁、張寶引敗殘軍士，奪路而走。忽見一彪軍馬，盡打紅旗，當頭來到，截住去路。為首閃出一將，身長七尺，細眼長髯，官拜騎都尉，沛國譙郡人也，姓曹名操字孟德。操父曹嵩，本姓夏侯氏，因為中常侍曹騰之養子，故冒姓曹。曹嵩生操，小字阿瞞，一名吉利。操幼時，好游獵，喜歌舞，有權謀，多機變。操有叔父，見操游蕩無度，嘗怒之，言于曹嵩。嵩責操。操忽心生一計，見叔父來，詐倒于地，作中風之狀。叔父驚告嵩，嵩急視之。操故無恙。嵩曰："叔言汝中風，今已愈乎？"操曰："兒自來無此病；因失愛于叔父，故見罔耳。"嵩信其言。后叔父但言操過，嵩并不聽。因此，操得恣意放蕩。時人有橋玄者，謂操曰："天下將亂，非命世之才不能濟。能安之者，其在君乎？"南陽何顒見操，言："漢室將亡，安天下者，必此人也。"汝南許劭，有知人之名。操往見之，問曰："我何如人？"劭不答。又問，劭曰："子治世之能臣，亂世之奸雄也。"操聞言大喜。年二十，舉孝廉，為郎，除洛陽北部尉。初到任，即設五色棒十余條于縣之四門，有犯禁者，不避豪貴，皆責之。中常侍蹇碩之叔，提刀夜行，操巡夜拿住，就棒責之。由是，內外莫敢犯者，威名頗震。后為頓丘令，因黃巾起，拜為騎都尉，引馬步軍五千，前來潁川助戰。正值張梁、張寶敗走，曹操攔住，大殺一陣，斬首萬余級，奪得旗幡、金鼓、馬匹極多。張梁、張寶死戰得脫。操見過皇甫嵩、朱儁，隨即引兵追襲張梁、張寶去了。
卻說玄德引關、張來潁川，聽得喊殺之聲，又望見火光燭天，急引兵來時，賊已敗散。玄德見皇甫嵩、朱儁，具道盧植之意。嵩曰："張梁、張寶勢窮力乏，必投廣宗去依張角。玄德可即星夜往助。"玄德領命，遂引兵復回。到得半路，只見一簇軍馬，護送一輛檻車，車中之囚，乃盧植也。玄德大驚，滾鞍下馬，問其緣故。植曰："我圍張角，將次可破；因角用妖術，未能即勝。朝廷差黃門左豐前來體探，問我索取賄賂。我答曰：'軍糧尚缺，安有余錢奉承天使？'左豐挾恨，回奏朝廷，說我高壘不戰，惰慢軍心；因此朝廷震怒，遣中郎將董卓來代將我兵，取我回京問罪。"張飛聽罷，大怒，要斬護送軍人，以救盧植。玄德急止之曰："朝廷自有公論，汝豈可造次？"軍士簇擁盧植去了。關公曰："盧中郎已被逮，別人領兵，我等去無所依，不如且回涿郡。"玄德從其言，遂引軍北行。行無二日，忽聞山后喊聲大震。玄德引關、張縱馬上高岡望之，見漢軍大敗，后面漫山塞野，黃巾蓋地而來，旗上大書"天公將軍"。玄德曰："此張角也！可速戰！"三人飛馬引軍而出。張角正殺敗董卓，乘勢赴來，忽遇三人沖殺，角軍大亂，敗走五十余里。
三人救了董卓回寨。卓問三人現居何職。玄德曰："白身。"卓甚輕之，不為禮。玄德出，張飛大怒曰："我等親赴血戰，救了這廝，他卻如此無禮。若不殺之，難消我氣！"便要提刀入帳來殺董卓。正是：人情勢利古猶今，誰識英雄是白身？安得快人如翼德，盡誅世上負心人！畢竟董卓性命如何，且聽下文分解。
'''
keywords=jieba.analyse.extract_tags(text,topK=5,withWeight=True)
for word,weight in keywords:print(word,weight)

玄德 0.09848529081119392
張角 0.07389144860998553
張梁 0.06561926653835022
盧植 0.06519027683010131
黃巾 0.057165418010072355

四、設置停用詞

????????在抽取關鍵詞的時候，有些詞雖然在這篇文章中很常見，但并不是我們希望抽取的關鍵字，如上文中的黃巾，此時我們可以設置停用詞字典，讓這些詞不會抽取為關鍵詞。

import jieba
jieba.analyse.set_stop_words('stop_dict.txt')
keywords=jieba.analyse.extract_tags(text,topK=5,withWeight=True)
for word,weight in keywords:print(word,weight)

玄德 0.09963885205056369
張角 0.07475694141947291
張梁 0.06638786702489019
盧植 0.06595385254699854
劉焉 0.05094330553001464

五、詞性標注

import jieba.posseg as psegwords=pseg.cut("我愛北京天安門")
for word,flag in words:print(word,flag)

?我 r

愛 v

北京 ns

天安門 ns

詞性對照表：