構建一種完全可實現、可操作的開放源代碼信息收集系統,幫助記者完成工作任務。采編人員僅需輸入所收集到的網址及題目即可迅速啟動收集工作并進行信息歸類。
2.根據新的數據收集要求,采用云計算技術實現新的收集器的迅速部署。對于資料采集點的改版,更新,采集器可以進行智能響應。同時,系統的維護者也能迅速地更新數據收集系統,使之能夠適應不斷改變的網絡環境。
3.收集程序收集信息時,不會對站點的正常運行造成任何影響,也不會占據太多的網絡帶寬,當站點出現不提供服務時,收集程序會進行智能處理。
4.收集到的信息,可以利用自動清理過程,去掉冗余的html代碼,使其具有一致的格式,并根據話題和關鍵詞,對其進行分類標簽。
5.可以在多個平臺上一次點擊發送該消息。
?該系統還給出了 Xpath的保存接口,以及獲取的參數的調節接口。主要內容有:網站名稱,主要域名,清單獲取方法,清單關鍵字,清單頁字段 XPL路徑,詳細頁字段 XPL路徑,是否打開測試,本地存儲路徑,以及是否輸入重復參數及如何保存等。在圖2-6中可以看到。該系統為用戶提供了一個消息發布的接口。具體內容有:當日下載量、當日發布量、昨日下載量、昨日發布量、待處理信息以及顯示信息詳情、同步發布等。
?在上述需求分析的基礎上,通過深入研究,將系統使用人員劃分為信息采集編輯、信息維護編輯、信息發布編輯三個角色。然后根據這個人的工作內容,給出了對應的系統函數。本系統為收集資料輸入接口,并對收集資料進行維護。具體內容有:網站名稱,網站首頁,網站主域名,欄目名稱,欄目頁面 URL,分配爬蟲標志,是否開啟采集的錄入和維護。?
前端技術:nodejs+vue+elementui,
Express 框架于Node運行環境的Web框架,
語言 node.js
框架:Express
前端:Vue.js
數據庫:mysql
數據庫工具:Navicat
開發軟件:VScode
視圖層其實質就是vue頁面,通過編寫vue頁面從而展示在瀏覽器中,編寫完成的vue頁面要能夠和控制器類進行交互,從而使得用戶在點擊網頁進行操作時能夠正常。
代碼結構講解
?1、 node_modules文件夾(有npn install產生)
? ? 這文件夾就是在創建完項目后,cd到項目目錄執行npm install后生成的文件夾,下載了項目需要的依賴項。
2、package.json文件
? ? ?此文件是項目的配置文件(可定義應用程序名,版本,依賴項等等)。node_modules文件夾下的依賴項是從哪里知道的呢?原因就是項目根目錄下的這個package.json文件,執行npm install時會去找此文件中的dependencies,并安裝指定的依賴項。
3、public文件夾(包含images、javascripts、stylesheets)
? ? ? 這個文件夾做過Web開發的應該一看就知道,為了存放圖片、腳本、樣式等文件的。
4、routes文件夾
? ? ? 用于存放路由文件。
5、views文件夾
? ? ? 存放視圖。?本論文的研究目的是為了給采編者提供一套完善、高效的智能信息收集解決方案,并利用一系列的程序設計與開發,為采編者提供一個具備穩定、魯棒性的信息收集、發布集成平臺。對外賣數據進行了分析,從而極大地降低了有關產業的資訊工作者的工作強度,為更快、更好、更方便地獲得發布資訊,提供了技術支撐。到現在為止,這個系統已經從最初的收集對象,到最近的幾百個國際和國內的站點,已經有一年多的時間了,收集到了395萬條的數據。?
目 錄
摘 要 I
ABSTRACT II
目 錄 II
第1章 緒論 1
1.1背景及意義 1
1.2 國內外研究概況 1
1.3 研究的內容 1
第2章 相關技術 3
2.1 nodejs簡介 4
2.2 express框架介紹 6
2.4 MySQL數據庫 4
第3章 系統分析 5
3.1 需求分析 5
3.2 系統可行性分析 5
3.2.1技術可行性:技術背景 5
3.2.2經濟可行性 6
3.2.3操作可行性: 6
3.3 項目設計目標與原則 6
3.4系統流程分析 7
3.4.1操作流程 7
3.4.2添加信息流程 8
3.4.3刪除信息流程 9
第4章 系統設計 11
4.1 系統體系結構 11
4.2開發流程設計系統 12
4.3 數據庫設計原則 13
4.4 數據表 15
第5章 系統詳細設計 19
5.1管理員功能模塊 20
5.2用戶功能模塊 23
5.3前臺功能模塊 19
第6章 系統測試 25
6.1系統測試的目的 25
6.2系統測試方法 25
6.3功能測試 26
結 論 28
致 謝 29
參考文獻 ?