介紹
本項目為新聞數據分析平臺,目的是爬取新聞(目前僅含爬取今日頭條)數據,然后對數據進行展示、采集與清洗、數據分析、建立數據模型、數據可視化。本項目采用前后端分離模式,前端使用 Vue3 + ArcoDesign 搭建,后端使用 Python 語言的 Flask 框架搭建 ,核心技術棧為 Selenium、NumPy、Pandas、PyEcharts 。
運行環境
-
Python3.9
-
Vue3
-
Node16.15.1
-
MySQL8
-
Redis6
程序運行
數據庫導入:導入 sql/news.sql
文件到數據。
后端運行
- 創建虛擬環境。(不創建虛擬環境也可以,但是為了不影響真實的環境,建議還是創建)
- 導入
news-analysis-server/requirements.txt
中的所有依賴,可能會下比較久,耐心等待。 - 修改
news-analysis-server/App/config/dev.py
中的MySQL、Redis以及其他路徑信息。 - 在
news-analysis-server
目錄中運行python server.py
啟動程序。
前端運行
- 運行
npm install
下載依賴。 - 運行
npm run dev
啟動程序。
程序頁面