大數據旅游數據分析：基于Python旅游數據采集可視化分析推薦系統

文章目錄

基于Python旅游數據采集可視化分析推薦系統
- 一、項目概述
- 二、項目說明
- 三、開發環境
- 四、功能實現
- 五、系統頁面實現
- - 用戶登錄注冊
  - 系統首頁
  - 數據操作管理
  - 價格與銷量分析
  - 旅游城市和景點等級分析
  - 旅游數據評分情況分析
  - 旅游數據評論情況分析
  - 旅游景點推薦
  - Django系統后臺管理
- 六、結語

基于Python旅游數據采集可視化分析推薦系統

一、項目概述

在互聯網時代，各行各業的人們都在尋求增長點，人們的日常生活越來越離不開互聯網。以旅游信息為例，線下大量的各種旅游信息基本只會出現在旅游會上，但是現如今，人們越來越重視時間成本，所以越來越多的年輕人在網上查找自己想要查找的旅游就業信息。然而，在互聯網信息和海量數據源混合的情況下，如何快速精確的找到自己想要的數據是一個值得探討的問題。

本系統主要針對解決獲取旅游信息滯后、參加線下旅行社和人工檢索時間成本高等問題，運用網絡爬蟲信息技術設計思想，實現了一個基于Python的旅游信息推薦系統。本系統以Python語言為基礎，使用 requests爬蟲對去哪兒旅游信息源進行抓取,針對網頁信息編寫抽取規則，對旅游信息進行必要的過濾和提取，使用MySql對旅游信息進行數據存儲。然后使用 Python 開源web框架 Django進行系統搭建，基于旅游信息采用機器學習協同過濾推薦算法完成對用戶的旅游信息推薦，完成整個爬取以及數據檢索到成功進行旅游推薦的網頁端操作展示。

二、項目說明

基于python旅游采集數據分析可視化推薦系統是基于Django框架開發的一個旅游信息采集和推薦的應用。該系統通過爬蟲技術從各個旅游網站抓取旅游信息，并利用推薦算法對用戶進行個性化推薦，同時提供可視化展示界面。

以下是該系統的主要功能和組成部分的介紹：

旅游信息采集：系統通過編寫爬蟲程序，定期從各大旅游網站抓取旅游景點、酒店、機票等相關信息，包括價格、評價、位置等。這些采集到的數據會被保存到數據庫中供后續使用。

用戶注冊與登錄：用戶可以注冊自己的賬號，并通過登錄來獲取個性化推薦和享受更多功能。

個性化推薦：系統會根據用戶的歷史瀏覽記錄、收藏記錄以及其他行為數據，利用推薦算法生成個性化推薦結果。推薦算法使用協同過濾、內容過濾方法，根據用戶的興趣和偏好為其推薦最相關的旅游信息。

可視化展示界面：系統會將采集的旅游信息以可視化方式展示給用戶，包括地圖標記、圖片展示、價格對比等功能。用戶可以通過地圖選擇感興趣的地區，查看該地區的旅游景點、酒店等信息。

用戶交互和反饋：系統提供用戶評價、評論和收藏等功能，用戶可以對自己的旅游經歷進行評價，同時也可以保存自己喜歡的旅游信息以便日后查看。

后臺管理：系統提供一個后臺管理界面，管理員可以對用戶信息、采集的數據、推薦算法參數等進行管理和配置。

三、開發環境

開發環境	版本/工具
PYTHON	3.9.0
開發工具	PyCharm2021.2.1
操作系統	Windows 10
內存要求	16GB
瀏覽器	Firefox
數據庫	MySQL 8.0.26
數據庫工具	Navicat 15 for MySQL
項目技術棧	Python語言、Django框架、MySQL數據庫、requests網絡爬蟲技術、機器學習算法、BootStrap、數據可視化

四、功能實現

系統爬蟲部分核心代碼

  def spiderMain(self,resp,province):respJSON = resp.json()['data']['sightList']for index,travel in enumerate(respJSON):print('正在爬取該頁第%s數據' % str(index + 1))time.sleep(2)detailAddress = travel['address']discount = travel['discount']shortIntro = travel['intro']price = travel['qunarPrice']saleCount = travel['saleCount']try:level = travel['star'] + '景區'except:level = '未評價'title = travel['sightName']cover = travel['sightImgURL']sightId = travel['sightId']# ================================= 詳情爬取detailUrl = self.detailUrl % sightIdrespDetailXpath = etree.HTML(self.send_request(detailUrl).text)score = respDetailXpath.xpath('//span[@id="mp-description-commentscore"]/span/text()')if not score:score = 0star = 0else:score = score[0]star = int(float(score)*10)commentsTotal = respDetailXpath.xpath('//span[@class="mp-description-commentCount"]/a/text()')[0].replace('條評論','')detailIntro = respDetailXpath.xpath('//div[@class="mp-charact-intro"]//p/text()')[0]img_list = respDetailXpath.xpath('//div[@class="mp-description-image"]/img/@src')[:6]# ================================= 評論爬取commentSightId = respDetailXpath.xpath('//div[@class="mp-tickets-new"]/@data-sightid')[0]commentsUrl = self.commentUrl % commentSightIdcomments = []try:commentsList = self.send_request(commentsUrl).json()['data']['commentList']for c in commentsList:if c['content'] != '用戶未點評，系統默認好評。':author = c['author']content = c['content']date = c['date']score = c['score']comments.append({'author': author,'content': content,'date': date,'score': score})except:comments = []resultData = []

在這里插入圖片描述

基于用戶的協同過濾推薦算法，用于根據用戶的評分數據推薦其可能喜歡的其他景點。

基于用戶的協同過濾算法部分核心代碼：

在這里插入圖片描述

def user_bases_collaborative_filtering(user_id,user_ratings,top_n=20):
# def user_bases_collaborative_filtering(user_id, user_ratings, top_n=3):# 獲取目標用戶的評分數據target_user_ratings = user_ratings[user_id]# 初始化一個字段，用于保存其他用戶與目標用戶的相似度得分user_similarity_scores = {}# 將目標用戶的評分轉化為numpy數組target_user_ratings_list = np.array([rating for _ , rating in target_user_ratings.items()])# 計算目標用戶與其他用戶之間的相似度得分for user,ratings in user_ratings.items():if user == user_id:continue# 將其他用戶的評分轉化為numpy數組user_ratings_list = np.array([ratings.get(item,0) for item in target_user_ratings])# 計算余弦相似度similarity_score = cosine_similarity([user_ratings_list],[target_user_ratings_list])[0][0]user_similarity_scores[user] = similarity_score# 對用戶相似度得分進行降序排序sorted_similar_user = sorted(user_similarity_scores.items(),key=lambda x:x[1],reverse=True)# 選擇 TOP N 個相似用戶喜歡的景點 作為推薦結果recommended_items = set()for similar_user,_ in sorted_similar_user[:top_n]:recommended_items.update(user_ratings[similar_user].keys())# 過濾掉目標用戶已經評分過的景點recommended_items = [item for item in recommended_items if item not in target_user_ratings]return recommended_items

user_bases_collaborative_filtering 函數接受三個參數：
- user_id: 目標用戶的ID。
- user_ratings: 包含用戶評分信息的字典，其中鍵是用戶ID，值是包含景點及其評分的字典。
- top_n: 選擇推薦結果的前N個景點，默認為20。
target_user_ratings = user_ratings[user_id]：獲取目標用戶的評分數據，即目標用戶對各個景點的評分。
user_similarity_scores = {}：初始化一個空字典，用于保存其他用戶與目標用戶的相似度得分。
target_user_ratings_list = np.array([...])：將目標用戶的評分轉換為 NumPy 數組，以便后續計算余弦相似度。
遍歷 user_ratings 中的每個用戶，計算目標用戶與其他用戶之間的相似度得分：
- 將其他用戶的評分轉化為 NumPy 數組。
- 使用余弦相似度計算兩個用戶之間的相似度得分。
- 將相似度得分存儲在 user_similarity_scores 字典中。
sorted_similar_user = sorted(user_similarity_scores.items(),key=lambda x:x[1],reverse=True)：對用戶相似度得分進行降序排序，得到一個包含用戶ID和相似度得分的元組列表。
recommended_items = set()：初始化一個集合，用于保存推薦的景點。
遍歷排序后的相似用戶列表，選擇前 top_n 個相似用戶喜歡的景點，將這些景點添加到 recommended_items 集合中。
recommended_items = [item for item in recommended_items if item not in target_user_ratings]：過濾掉目標用戶已經評分過的景點，得到最終的推薦結果。
返回 recommended_items，即推薦給目標用戶的景點列表。