基于網絡爬蟲的在線醫療咨詢數據爬取與醫療服務分析系統，技術采用django+樸素貝葉斯算法+boostrap+echart可視化

摘要

為了發揮互聯網+醫療問詢服務平臺在客觀衡量醫療服務質量、進一步分析和挖掘網民評論數據方面的作用，本文完成了互聯網醫療問詢數據抓取與醫療服務質量服務分析平臺的主要模塊應用，如用戶登錄注冊、醫療服務質量數據分析與信息可視化以及用戶情緒識別預測功能分析服務。其中，前端通過HTML/CSS/JavaScript和Bootstrap實現交互式界面，前端通過DataTables實現互動式交互表格，通過ECharts插件分別構建問答關鍵詞詞云、問答評論滿意值餅狀環形圖、醫療服務質量評分分析柱狀圖等數據展示互動式圖表，同時實現分類展示、關鍵詞篩選以及數據加載等；后端通過表單驗證機制對用戶身份進行驗證與信息維護，在后臺通過異步數據請求實現基于深度學習算法進行預測結果分析（需要導入原始醫療問答數據集）的方法對用戶輸入的文本進行情緒判斷（準確率>=90%）并以表格形式輸出識別結果。同時，針對該在線平臺各個模塊主要功能，在對注冊登錄、信息維護管理、數據獲取和結果預測等7類測試用例進行需求分析設計的基礎上，共計設計出21項測試用例來模擬用戶交互、數據庫和網絡連接與前后端數據交互同步性和一致性等，通過“黑盒測試”發現筆者完成的醫療服務平臺各模塊功能實現符合設計預期，測試用例異常執行通過及時修復能夠確保系統穩定性。本平臺實現了醫療數據獲取、保存、計算分析與信息展現、交互式可視化展示的功能服務，展示了醫療服務平臺軟件開發的有效性與可操作性。

目???錄

1??引言

1．1??研究背景和意義

1．2??研究現狀分析

1.2.1 ?國外研究現狀

1.2.2??國內研究現狀

1．3??主要研究內容

1．4??本文的章節安排

2??相關技術和理論

2．1 ?爬蟲技術

2．2??Django框架

2．3??樸素貝葉斯算法

2．4??本章小結

3??系統需求分析

3．1??系統需求分析

3．2??系統可行性分析

3.2.1 ?技術可行性分析

3.2.2??經濟可行性分析

3.2.3??政策可行性分析

3．4??系統流程分析

3.4.1 ?操作流程分析

3.4.2??登錄流程分析

3.4.3??數據可視化流程分析

3.4.4??預測流程分析

3．5??本章小結

4??系統設計

4．1??系統總體功能設計

4．2??系統數據庫設計

4.2.1??數據庫概念設計

4.2.2??數據庫邏輯設計

4．3??本章小結

5??樸素貝葉斯算法設計與實現

5．1??模型選擇及評價指標

5．2??模型設計設計與實現

5.2.1??數據標注

5.2.2??特征提取

5.2.3??模型訓練與評估

5．3??本章小結

6??系統實現與測試

6．1??用戶功能實現

6.1.1??登錄注冊

6.1.2??數據展示

6.1.3??問答詞云圖分析

6.1.4??評分分析

6.1.5??滿意度分析

6.1.6??預測界面

6．2??系統測試

6.2.1??功能測試

6.2.2??測試結論

6．3??本章小結

7??總結和展望

參考文獻

致 ?謝

1??引言

1．1??研究背景和意義

近年來隨著互聯網的發展，“互聯網+醫療”方興未艾，通過互聯網與醫療相結合衍生出來的“在線醫療”輔助就醫模式出現井噴式增長。2016年起至今我國出臺《關于促進和規范健康醫療大數據應用發展的指導意見》等相關政策條例，全力推進“互聯網+醫療”[1]。在線醫療屬于“互聯網+醫療”領域的一項成果，通過網絡平臺為患者提供線上問診、掛號、咨詢等，是影響范圍最廣的互聯網醫療形式之一。它在緩解健康平等性、優化健康資源配臵上的優勢逐漸彰顯[2]。患者能夠在手持設備直接與醫生交流互動，在這一過程中留下大量含有醫學知識和患者興趣的交流數據。這些數據為患者選醫提供了參考指標，但往往需要耗費大量時間和精力閱讀其他患者的評價，不可能閱讀全部評論。為此針對以上問題，筆者提出設計實現基于網絡爬蟲技術的在線醫療咨詢數據爬蟲與分析系統，能夠為患者選醫時提供參考指標，使患者更加便捷地選到合適的醫師。

1．2??研究現狀分析

1.2.1 ?國外研究現狀

發達國家和地區在線醫療服務發展較成熟，而且由于國外互聯網技術起步早，信息化建設較快，所以這些地區的在線醫療服務系統分析建設和發展相對較為成熟。國外的在線醫療咨詢數據采集及醫療服務分析系統的研究，主要是圍繞提高臨床決策能力和診療質量。

1.2.2??國內研究現狀

在中國，做得比較好的研究也不少。在線醫療咨詢服務數據爬蟲與醫療服務分析系統的研究既包括了問答方面的分析、輿情方面的監控、醫生評價方面的內容，也包括了用戶滿意度等方面。這些都是對基于信息技術在醫療應用領域的促進，并推動醫療服務的智能化與個性化。

因此，本文以這一問題為目標，設計并實現基于在線問診信息進行采集與分析的在線問診推薦系統，用可視化信息手段呈現處理后采集的數據結果[11]，使患者能夠快捷地從評論數據中找到關鍵信息，同時可幫助醫生獲知患者關注點，做到減少患者選擇問診醫生時的信息量，同時也可以為優化醫療服務提供依據[12]。

1．3??主要研究內容

本研究圍繞在線醫療咨詢數據爬取與醫療服務分析平臺的設計與實現展開，核心研究內容包括：

體系模型及權責分配：設立患者以及管理員二級系統模型，患者功能包括醫生點評統計和病情了解、可視分析；管理員功能包括數據收集管理、文本分析與模型維護，從而保證數據的自動更新和完善、類目的準確度。

醫療數據采集及清洗：搭建爬蟲框架，抓取開放的醫療平臺(在線問診網站)中的結構化數據及非結構化數據，如醫生介紹、醫患評價、疾病提問等，并研發現有的數據清洗規則，處理文本噪音、重復數據和數據格式等方面，以滿足其數據存儲方案擴展性的要求。

文本情感分析：利用自然語言處理(NLP)的方法，建立患者點評文本的情感分析模型與文本聚類模型，利用詞向量嵌入(Word2Vec)方法提取文本特征，基于樸素貝葉斯算法對文本進行滿意度標簽分類，為醫生點評可視化提供數據基礎。

可互動式數據查詢及可視化展示系統：構建可視化、可互動的用戶口碑評價得分展示圖、用戶就診評星等級百分比顯示圖以及評價內容詞語云圖（Echarts）等，通過搜索關鍵詞、篩選條件的組合等進行自主信息查詢決策輔助展示。

算法及系統性能：建立算法迭代過程，針對模型優化（調節參數如正則參數）以提高文本分類正確率；對系統在數據抓取（如針對反抓取策略）速度及對數據處理（對用戶端進行反饋信息速度）及數據展示交互等進行性能測試，用A/B實驗驗證對醫患決策的輔助效應。

依托以上技術完成醫患數據挖掘與智能挖掘，形成醫患雙向賦能型醫學信息系統，能有效協助患者實現更合理的醫師選擇以及更多的疾病知識獲取，協助醫師通過對患者信息反饋的處理提升醫學服務質量，從而實現醫學資源合理利用和服務雙向匹配的醫療診療模式。

2??相關技術和理論

2．1 ?爬蟲技術

網絡爬蟲是根據設定規則從互聯網上采集信息的一類計算機程序，將一個或多個頁面用URL的方式給出，程序模擬網站用戶的使用，在瀏覽器頁面的基礎上沿著超鏈接搜索，并抓取頁面中所要的內容（如文本、圖像等）。

2．2??Django框架

Django是廣為應用的PythonWeb應用程序開發框架，它提供了一系列強大功能來協助Web應用程序的快速創建，同時使所創建的應用程序更加有效及擴展性更強。Django所遵循的設計原則旨在讓開發者投入應用程序邏輯的設計上，無需花費過多精力在底層技術之上。

Django框架結構如圖2.1所示：

圖2.1 Django架構圖

2．3??樸素貝葉斯算法

樸素貝葉斯分類法以其思想簡單、有效而著名。其算法原理基于貝葉斯定理，在已知待分類樣本時，求各類出現的概率，進而判斷出現概率最大的類將被作為分類的最終結果。樸素貝葉斯算法公式為：

3??系統需求分析

3．1??系統需求分析

系統要求提供一個安全的數據醫療分析的平臺，滿足患者的用戶能夠實現安全便捷的登錄、動態數據的查詢（帶分頁/帶排序/帶搜索）、多維可視化（詞云/評分/滿意度表）和根據文本的預測（預測可能的情緒的含義）服務；管理員用戶可以實現全部用戶管理、醫療數據的管理以及醫療數據的審核。技術部分采用Django+MySQL后端來實現數據處理安全，使用Bootstrap+ECharts作為前端設計的響應式交互，數據使用一個樸素貝葉斯模型(準確率>90%)。

3．2??系統可行性分析

3.2.1 ?技術可行性分析

從技術可行性上來看，本系統所采用的技術均是成熟的開源工具與框架，后端采用Python語言配合Django框架，實現了數據接口的編寫、模型調度與數據庫交互等功能；前端使用Bootstrap框架構建響應式的頁面；數據庫層選用MySQL系統進行數據存儲與管理。本系統的技術可行性較高。

3.2.2??經濟可行性分析

在經濟可行性方面，本系統的整體開發與部署過程中沒有涉及到其余的高額成本的花費，開發系統使用的全部開發語言和技術組件都是開源或者免費的軟件，不用支付授權費用。本系統運行所需要的硬件環境也沒有很高的要求，僅僅需要使用普通的計算機設備就可以完成系統的開發、測試與演示，系統所需要數據處理過程也可以通過本地計算資源完成，而且本系統面向畢業設計開發，開發周期可控，不需要額外的人力投入，在經濟上具備可行性。

3.2.3??政策可行性分析

從政策可行性上，本系統所涉及到的開發和數據采集的過程，都嚴格的遵守國家有關網絡數據安全、信息采集與使用的相關法律法規，系統所采集的數據均是平臺對外公開展示的信息，不涉及到平臺用戶的敏感隱私內容，且數據使用只進行學術研究與教學展示范圍，不涉及到商業用途，本文在政策層面有著較高的可行性。

3．3??系統功能分析

本系統圍繞醫療數據分析場景，設計功能可以從角色與功能需求方面考慮，系統用戶分為患者（普通用戶）和管理員兩類：用戶和管理員，以及六大核心功能模塊：

用戶功能：

認證用戶模塊：提供基于Form的登錄/注冊功能，采用JWTToken機制進行認證，前端使用HTML5LocalStorage進行“記住密碼”的狀態保存，后端基于django框架進行權限管理，保障用戶數據的安全。

前端視圖顯示：采用RESTfulAPI對外發布JSON接口，采用Boostrap實現HTML表的響應式渲染，利用DataTables插件完成瀏覽器分頁、多級排序、實時過濾，使用Axios異步獲取數據，并配合Ajax加載效果提升體驗感。

可視化分析模塊：

詞云分析：基于ECharts詞云組件，后端使用Jieba分詞庫對問答文本進行關鍵詞提取與詞頻統計[17]，前端通過API接口提供JSON格式數據實現動態數據更新；

評分/滿意度：數據可視化類型為ECharts環形餅圖組件，后端使用MySQL窗口函數實現各科室評分分布（包括5分占比、平均分）統計，前端添加顏色映射表實現對數據維度的編碼。

預測服務模塊：實現django預測API接口，前端使用FormData封裝用戶輸入的數據，使用AJAX發送后端，載入訓練好的樸素貝葉斯模型進行預測，返回結果使用JSONSchema驗證后動態渲染預測表單。

管理員功能：

用戶管理：管理員可以在這個界面對本平臺注冊過的用戶進行個人信息的修改，包括但不限于用戶賬號、姓名、聯系方式、圖片等，也可以對個人用戶進行增刪改查等操作。

醫療問答數據管理：在這個界面中，管理員可以對所有醫療問答信息逐一進行審查、增、刪、改、查，包括問答內容、用戶名、問答時間等。

管理員用例如圖3.1所示。

圖3.1?管理員用例圖

用戶進入系統，系統的功能有首頁、問答數據查詢、醫生信息查詢、醫生評分分析、醫生滿意度分析、問答數據詞云分析、滿意度預測等。用戶用例如圖3.2所示。

圖3.6?用戶用例圖

3．4??系統流程分析

3.4.1 ?操作流程分析

為了用戶更了解操作流程，于是制作了一個操作流程圖（如圖3.3所示）。本程序的操作流程為提供登錄數據。程序驗證通過后，用戶就能進入功能界面使用本系統的相關功能。

圖3.3?程序操作流程圖

3.4.2??登錄流程分析

在系統流程分析中登錄模塊也要單獨分析。登錄模塊主要是建立一個安全的功能用來保護用戶的個人信息，讓用戶更放心地使用。該部分流程圖如下（如圖3.4所示）在用戶提供賬號密碼后判斷信息是否正確并提示相關內容，驗證成功即登錄成功。

???????

圖3.4?登錄流程圖

3.4.3??數據可視化流程分析

在系統流程分析中可視化也要單獨分析。可視化模塊主要是旨在將醫療數據轉化為直觀的交互圖表，輔助用戶快速理解醫生評價與疾病信息。該部分流程圖如下（如圖3.5所示）在用戶登錄后進入系統界面，點擊可視化對應功能（問答詞云圖、評分分析、滿意度分析等），選擇科室，即可成功可視化。

圖3.5?可視化流程圖

3.4.4??預測流程分析

在系統流程分析中預測模塊也要單獨分析。預測模塊主要是通過機器學習模型挖掘數據潛在規律，為醫患提供決策支持，采用訓練好的。該部分流程圖如下（如圖3.6所示）在用戶登錄后進入系統界面，點擊預測功能，輸入預測文本，即可輸出預測結果。

圖3.6?預測流程圖

4??系統設計

4．1??系統總體功能設計

在線醫療咨詢數據爬取與醫療服務分析系統是對春雨醫生網站醫療問答信息的管理和分析，幫助患者更精準地選擇醫生，同時為醫生提供有關患者反饋的有價值信息。系統的總體結構如圖4.1所示。

圖4.1?系統總體功能圖

4．2??系統數據庫設計

4.2.1??數據庫概念設計

本系統使用MySQL數據庫管理本系統的數據。數據庫設計有概念設計和邏輯設計。設計的起點就是概念設計，它將用戶的需求抽象為概念模型，下面是各實體信息的實體屬性圖。

系統中有用戶名、密碼等。

4.2.2??數據庫邏輯設計

邏輯設計是在概念設計階段實體—關系(E-R)圖轉換為2維表，邏輯設計的好壞關系到系統功能模塊運行的正確性，和系統數據更新。設計時要充分考慮到數據庫規范性、合理性的要求，使系統滿足功能和性能的指標要求。

問答數據模塊實體-關系（E-R）圖轉化為二維表格形。

表4.1?問答信息表

列名	數據類型	長度	主鍵	允許空
一級分類	varchar	255		否
二級分類	varchar	255		是
問答id	varchar	255		是
回答者	varchar	255		是
回答者職位	varchar	255		是
回答者所在醫院	varchar	255		是
回答者擅長	varchar	255		是
回答者tags	varchar	2500		是
問題描述	varchar	2500		是
醫生建議	varchar	2500		是
問題創建時間	varchar	255		是
問題咨詢費用	varchar	255		是
問答內容	varchar	5000		是

表4.2?醫生信息表

列名	數據類型	長度	主鍵	允許空
一級疾病	varchar	255		否
二級疾病	varchar	255		是
相關醫生	varchar	255		是
標題	varchar	255		是
醫生編碼	varchar	255		是
接診量	varchar	255		是
同行認可	varchar	255		是
各類問答數	varchar	2500		是
醫院名稱	varchar	255		是
醫院tag	varchar	2500		是
醫院id	varchar	255		是
評分	varchar	255		是
擅長	varchar	255		是
評論tag	varchar	2500
醫生did	varchar	255

表4.3?用戶信息表

列名	數據類型	長度	主鍵	允許空
id	bigint	0	是	否
password	varchar	128		是
last_login	datetime	6		是
is_superuser	tinyint	1		是
first_name	varchar	150		是
last_name	varchar	150		是
email	varchar	254		是
is_staff	tinyint	1		是
is_active	tinyint	1
date_joined	datetime	6

5??樸素貝葉斯算法設計與實現

5．1??模型選擇及評價指標

樸素貝葉斯算法是一種基于貝葉斯定理的分類方法，適用于分類算法的應用，在文本分類、垃圾郵件過濾的應用中具有很大的優點。樸素貝葉斯基本思想是將每個類別情況下的條件概率進行計算，并選擇概率最大的分類情況。模型訓練過程中的評估標準方法包括了多種評價指標，最主要的是正確率、準確率、召回率、F1。這些指標可以全方位綜合評估分類模型中每個類的表現情況。

5．2??模型設計設計與實現

5.2.1??數據標注

為了后續的算法進行訓練，本研究使用醫療問答數據集共6000條數據，其中滿意、一般、不滿意三類各2000條，對數據進行標注。如圖5.1數據標注結果所示。

圖5.1?數據標注結果圖

5.2.2??特征提取

特征提取是將文本內容轉換為機器學習模型可輸入的數值型特征值。本文中采用TF-IDF特征提取算法。如圖5.2特征提取代碼所示。

圖5.2?特征提取代碼圖

5.2.3??模型訓練與評估

特征提取完成之后，為了模型的泛化性，醫療問答數據集按照7:3的比例劃分為訓練集和測試集，樸素貝葉斯分類器進行模型訓練。訓練結果見上圖所示，未調優前的混淆矩陣見圖5.3所示，分類報告見圖5.4所示，未調優代碼如圖5.5所示：

圖5.3?未調優混淆矩陣圖

圖5.4?未調優分類報告圖

圖5.5?未調優代碼圖

調優后主要代碼如圖5.8所示：

圖5.6?調優后混淆矩陣圖

圖5.7?調優后模型得分圖

圖5.8?調優后混淆矩陣代碼圖

6??系統實現與測試

6．1??用戶功能實現

6.1.1??登錄注冊

設計實現一個用戶登錄界面和用戶注冊界面。登錄頁面需要用戶輸入用戶名及密碼，點擊登錄按鈕進行身份校驗，如果登錄信息正確則跳轉主頁面，登錄密碼錯誤頁面顯示錯誤信息提示，注冊頁面中也有“記住密碼”一項可讓登錄信息在下次登錄時自動填充。界面友好的登錄注冊頁面如圖6.1所示，主要代碼如圖6.2所示：

圖6.1?登錄界面圖

圖6.3?登錄注冊代碼圖

6.1.2??數據展示

數據展示接口，把數據以結構化交互式表單形式展示數據，該表格基于提供給它的東西動態地顯示，它使用了模板邏輯來填寫它的列標題和行。數據展示界面見上圖6.3。主要代碼如圖6.4所示：

圖6.3?數據展示界面圖

圖6.4?數據展示主要代碼圖

6.1.3??問答詞云圖分析

問答詞云視圖：用戶可以根據不同的科室選擇查看問答數據的詞云，給出答問的評論數據在不同科室中，用戶通過下拉菜單選擇不同的科室后，點擊分析按鈕，向頁面發送請求，頁面加載相關數據，在這個加載的過程中出現正在加載的提示信息。問答詞云界面見圖6.5，主要代碼見圖6.6：

圖6.5?問答詞云界面圖

圖6.6?問答詞云主要代碼圖

6.1.4??評分分析

用戶可以點擊選擇不同的科室查看評分數據的可視化分析界面，在該界面的中間有一個下拉選擇框，可以選擇科室后再點擊“分析”，頁面會將所選的數據向服務器發起請求，等待服務器處理請求，加載數據的過程中，頁面會顯示“正在加載”的提示，提升用戶的體驗度，等數據加載完后，ECharts就會繪制出一個圓環圖，并且直觀顯示出各個評分類別所占的比值大小，餅圖為不同顏色表示數據類別，評分分析界面圖如圖6.7所示，主要代碼如圖6.8所示：

圖6.7?評分分析界面圖

圖6.8?評分分析代碼圖

6.1.5??滿意度分析

選擇科室查看各科室滿意度的情況，通過在頁面中加入一個下拉選擇框，選擇對應的科室信息后單擊“分析”按鈕，系統調用接口進行相應的科室滿意度數據調用。在數據調用過程中系統提示加載，讓用戶能夠清楚地知道數據加載情況，并在調用之后通過ECharts制作環形餅圖，并顯示出不同滿意度等級所占比例。滿意度分析界面設計如下圖6.9，主頁面代碼如下圖6.10所示：

圖6.9?滿意度分析圖

圖6.10?滿意度分析主要代碼圖

6.1.6??預測界面

用戶在“輸入內容的文本輸入框中輸入數據，點擊“預測結果”按鈕提交，提交數據后，服務器會接受一個帶有提交數據的請求，由服務器進行處理和加載已經訓練好的樸素貝葉斯模型，進行模型預測，并發送結果預測到用戶。預測界如圖6.11所示，主要代碼如圖6.12所示：

圖6.11?預測界面圖

圖6.12?預測界面主要代碼圖

6．2??系統測試

6.2.1??功能測試

功能測試是檢驗一個系統是否能按其預期設計方式正常工作的重要測試過程，對于在線醫療咨詢數據抓取及服務分析平臺軟件來講，功能測試包括用戶管理模塊、數據可視化界面、數據展示模塊、情感預測模塊等。本章將從黑箱角度根據預先設計的預期設計需求，根據虛擬用戶來驗證其是否能滿足相應需求正確運行，具體流程見表6.1-表6.7所示：

測試用例1注冊功能測試用例說明及結果如表6.1所示：

表6.1 注冊功能測試用例

用例描述

測試步驟

預期結果

測試結果

驗證用戶是否能成功創建新賬戶，包括前端顯示和數據庫更新

（1）打開注冊頁面。（2）在注冊頁面填寫用戶信息（如用戶名、密碼、郵箱等）。（3）提交注冊表單。系統將用戶信息發送到數據庫。（4）檢查數據庫是否新增了一個用戶記錄。（5）驗證前端是否顯示“注冊成功”的提示信息。

（1）成功注冊后，數據庫中應新增一個用戶記錄。（2）前端應提示“賬戶創建成功”或類似信息。

通過

驗證空字段提交注冊

(1) 打開注冊頁面。

(2) 不填寫任何信息直接提交表單。

(1) 前端提示必填字段錯誤（如“用戶名不能為空”）。

(2) 數據庫無新增記錄。

用戶不能夠注冊

圖6.1 注冊測試通過圖

圖6.2 注冊測試失敗圖

表6.2 登錄功能測試用例

用例描述

測試步驟

預期結果

測試結果

驗證用戶登錄功能是否正常，確保用戶信息經過驗證后能夠成功登錄并跳轉到用戶主頁面。

（1）打開登錄頁面。輸入用戶名和密碼進行登錄。（2）提交登錄表單。系統驗證用戶信息。（3）檢查是否成功跳轉到用戶主頁面。

用戶信息驗證通過后，應成功跳轉到用戶主頁面，且前端頁面應顯示已登錄狀態。

用戶能夠成功登錄，系統跳轉正確，前端頁面正常顯示。

驗證錯誤密碼登錄

(1) 輸入正確用戶名+錯誤密碼提交登錄。

(1) 前端提示“用戶名或密碼錯誤”。

(2) 禁止跳轉主頁，停留在登錄頁。

用戶不能夠成功登錄，系統提示錯誤信息。

圖6.3 登陸測試通過圖

圖6.4 登陸測試失敗圖

表6.3 個人信息修改功能測試用例

用例描述	測試步驟	預期結果	測試結果
驗證用戶個人信息更新功能是否正常，確保修改后的信息能夠正確更新到數據庫并反映到前端頁面。	（1）登錄系統，進入個人中心界面。（2）打開個人信息修改界面。（3）修改個人信息（如用戶名等）。（4）點擊提交按鈕以保存修改。（5）檢查數據庫中是否更新了用戶的個人信息。（6）驗證前端頁面是否顯示“更新成功”的提示信息。	（1）用戶個人信息在數據庫中成功更新。（2）前端頁面應顯示“更新成功”或類似提示	用戶信息更新功能正常，數據庫和前端頁面均按預期工作。