python連接mysql,并整理(去哪兒網)頁面數據到表

##引入requests/pymysql模塊
本地安裝mysql數據庫,安裝圖形化工具navicat

import requests
from pymysql import Connect#創建客戶端連接信息
client = Connect(host='127.0.0.1',port=3306,user='root',password='',
)
#創建游標
cursor = client.cursor()
cursor.execute('create database if not exists qunar')
cursor.execute('use qunar')
cursor.execute('create table if not exists qunar_hotel(''id int primary key auto_increment,''name char(100),''city_name char(30),''price int,''score int,''type char(60),''address char(255),''comment char(60))')#引入城市列表
city_url_list = [{"name": "北京","url": "beijing_city"
}, {"name": "成都","url": "chengdu"
}, {"name": "廣州","url": "guangzhou"
}, {"name": "杭州","url": "hangzhou"
}, {"name": "昆明","url": "kunming"
}, {"name": "青島","url": "qingdao"
}, {"name": "上海","url": "shanghai_city"
}, {"name": "深圳","url": "shenzhen"
}, {"name": "西安","url": "xian"
}, {"name": "重慶","url": "chongqing_city"
}, {"name": "北海","url": "beihai"
}, {"name": "大理","url": "dali"
}, {"name": "大連","url": "dalian"
}, {"name": "東莞","url": "dongguan"
}, {"name": "佛山","url": "foshan"
}, {"name": "福州","url": "fuzhou_fujian"
}, {"name": "貴陽","url": "guiyang"
}, {"name": "桂林","url": "guilin"
}, {"name": "哈爾濱","url": "haerbin"
}, {"name": "海口","url": "haikou"
}, {"name": "合肥","url": "hefei"
}, {"name": "惠州","url": "huizhou_guangdong"
}, {"name": "濟南","url": "jinan"
}, {"name": "嘉興","url": "jiaxing"
}, {"name": "蘭州","url": "lanzhou"
}, {"name": "麗江","url": "lijiang"
}, {"name": "南昌","url": "nanchang"
}, {"name": "南京","url": "nanjing"
}, {"name": "南寧","url": "nanning"
}, {"name": "寧波","url": "ningbo"
}, {"name": "黔東南","url": "qiandongnan"
}, {"name": "秦皇島","url": "qinhuangdao"
}, {"name": "泉州","url": "quanzhou"
}, {"name": "三亞","url": "sanya"
}, {"name": "廈門","url": "xiamen"
}, {"name": "沈陽","url": "shenyang"
}, {"name": "石家莊","url": "shijiazhuang"
}, {"name": "蘇州","url": "suzhou_jiangsu"
}, {"name": "太原","url": "taiyuan"
}, {"name": "天津","url": "tianjin_city"
}, {"name": "威海","url": "weihai"
}, {"name": "溫州","url": "wenzhou"
}, {"name": "烏魯木齊","url": "wulumuqi"
}, {"name": "無錫","url": "wuxi"
}, {"name": "武漢","url": "wuhan"
}, {"name": "西寧","url": "xining"
}, {"name": "煙臺","url": "yantai"
}, {"name": "長沙","url": "changsha"
}, {"name": "鄭州","url": "zhengzhou"
}, {"name": "珠海","url": "zhuhai"
}]for city_dict in city_url_list[:10]:url = f'https://hotel.qunar.com/napi/hotHotelList?size=150&city={city_dict["url"]}'headers = {'user-agent':'https://hotel.qunar.com/napi/hotHotelList?size=150&city={city_dict["url"]}'}res = requests.get(url,headers=headers)resData = tuple(map(lambda x:(x.get('name'),x.get('cityName'),eval(x.get('price')),eval(x.get('score')),x.get('hotelCategory') if x.get('hotelCategory') else 'null',x.get('locationInfo'),x.get('commentDesc') if x.get('commentDesc') else 'null',),res.json()))insert_sql = 'insert into qunar_hotel(name,city_name,price,score,type,address,comment) values(%s,%s,%s,%s,%s,%s,%s)'cursor.executemany(insert_sql,Data)# 提交事務client.commit()
else:cursor.close()client.close()

運行結果:
在這里插入圖片描述

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/18249.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/18249.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/18249.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

17- PHP 開發-個人博客項目TP 框架路由訪問安全寫法歷史漏 洞

常見的php框架:laravel和thinkphp和yii 這里以thinkphp為例 thinkphp目錄訪問設置 這里只找到了這個3.多的源代碼,沒找點5.的,湊合一下 鏈接:GitHub - top-think/thinkphp: ThinkPHP3.2 ——基于PHP5的簡單快速的面向對象的PHP…

HTML用法介紹

文章目錄 一、HTML概念和模版二、常用標簽及用法1.p標簽2.span標簽3.h標簽4.hr標簽5.img標簽6.a標簽7.input標簽8.table標簽 一、HTML概念和模版 HTML的全稱為超文本標記語言&#xff0c;它包括一系列標簽組成&#xff0c;模版及各部分注釋如下&#xff1a; <!--聲明文檔類…

ROS基礎學習-話題通信機制研究

研究ROS通信機制 研究ROS通信機制 0.前言1.話題通信1.1 理論模型1.2 話題通訊的基本操作1.2.1 C++1.2.2 Python中使用自己的虛擬環境包1.2.2.1 參考11.2.2.2 參考21.2.2.3 /usr/bin/env:“python”:沒有那個文件或目錄1.2.3 Python1.2.2.1 發布方1.2.2.2 訂閱方1.2.2.3 添加可執…

【八股系列】談談關于對webpack熱更新的原理?

文章目錄 1. 熱更新原理2. 熱更新配置 1. 熱更新原理 Webpack 的熱模塊替換&#xff08;Hot Module Replacement&#xff0c;HMR&#xff09;是一種在不完全刷新頁面的情況下更新應用代碼的技術&#xff0c;從而提高了開發效率。以下是 HMR 的核心原理&#xff1a; 步驟描述1…

tcpdump抓包,抓包導出.pcap文件用wireshark看

1、抓所有口的包 tcpdump -i any host 設備的ip2、抓特定口的包 tcpdump -i eth2 port 61182 -nne3、將抓到的包導出到pacb文件 tcpdump -i eth2 port 61182 -nne -s0 -w /tmp/61182.pcap -s0: Sets the snapshot length to capture the entire packet. The 0 means that tcpd…

《征服數據結構》目錄

我們知道要想學好算法&#xff0c;必須熟練掌握數據結構&#xff0c;數據結構常見的有 8 大類&#xff0c;分別是數組&#xff0c;鏈表&#xff0c;隊列&#xff0c;棧&#xff0c;散列表&#xff0c;樹&#xff0c;堆&#xff0c;圖。但如果細分的話就比較多了&#xff0c;比如…

go-zero 實戰(2)

go-zero 實戰&#xff08;1&#xff09; 中&#xff0c;使用了go-zero 創建了order 和 user 兩個微服務。而order作為grpc的客戶端&#xff0c;user 作為grpc的服務端&#xff0c;打通了 order 到 user的調用。接下來&#xff0c;我們在user中&#xff0c;加入mysql組件。確保數…

我說同事咋找工作命中率這么高,原來是學習了這些招式

最近有兩個同事離職了&#xff0c;其中一個還是專科&#xff0c;他倆一個是前端開發&#xff0c;一個是python開發&#xff0c;兩個人都接近35歲了。我們還勸告他們&#xff0c;不要離職&#xff0c;要騎驢找馬。但了解后&#xff0c;他倆非常有信心的說&#xff1a;不怕&#…

富格林:遵守可信準則安全交易

富格林指出&#xff0c;當下的金融市場&#xff0c;投資者大多都會更傾向于盈利效率高的理財產品&#xff0c;而近年來興起的現貨黃金&#xff0c;正合投資者的心意。不過&#xff0c;投資現貨黃金若是不遵循其中的可信準則&#xff0c;是難以實現安全盈利的。那么有哪些可信準…

3D視覺技術|螺栓分揀測試

隨著制造業自動化程度的不斷提高&#xff0c;某大型汽配企業為提升生產效率、減少人力成本&#xff0c;提出了使用復合機器人完成螺栓分揀的需求。富唯智能通過采用復合機器人&#xff0c;結合3D工業相機和高性能控制器&#xff0c;實現螺栓的自動抓取&#xff0c;從而提升生產…

鴻蒙OS開發:【一次開發,多端部署】(一多天氣)項目

一多天氣 介紹 本示例展示一個天氣應用界面&#xff0c;包括首頁、城市管理、添加城市、更新時間彈窗&#xff0c;體現一次開發&#xff0c;多端部署的能力。 1.本示例參考一次開發&#xff0c;多端部署的指導&#xff0c;主要使用響應式布局的柵格斷點系統實現在不同尺寸窗…

【Qt 學習筆記】Qt窗口 | 工具欄 | QToolBar的使用及說明

博客主頁&#xff1a;Duck Bro 博客主頁系列專欄&#xff1a;Qt 專欄關注博主&#xff0c;后期持續更新系列文章如果有錯誤感謝請大家批評指出&#xff0c;及時修改感謝大家點贊&#x1f44d;收藏?評論? Qt窗口 | 工具欄 | QToolBar的使用及說明 文章編號&#xff1a;Qt 學習…

怎么看智慧城市的發展?

智慧城市&#xff0c;就像一個擁有高度智慧和感知能力的未來城市居民&#xff0c;正在不斷地學習、適應和進化。它通過無數的眼睛&#xff08;傳感器&#xff09;和耳朵&#xff08;數據收集設備&#xff09;來觀察和傾聽城市的脈動&#xff0c;通過強大的大腦&#xff08;數據…

opencv文檔py_contours示例整理

文章目錄 目錄說明contours_begin目標什么是輪廓?如何畫等高線?輪廓逼近法contour_features目標1.Moments 時刻2. Contour Area 輪廓面積3. Contour Perimeter 輪廓周長4. Contour Approximation 輪廓近似5. Convex Hull 凸包6. Checking Convexity 檢查凸性7. Bounding Rect…

B2118 驗證子串

驗證子串 題目描述 輸入兩個字符串&#xff0c;驗證其中一個串是否為另一個串的子串。 輸入格式 兩行&#xff0c;每行一個字符串。 輸出格式 若第一個串 s 1 s_1 s1? 是第二個串 s 2 s_2 s2? 的子串&#xff0c;則輸出(s1) is substring of (s2)&#xff1b; 否則&…

Python并發與異步編程

Python的并發與異步編程是兩個不同的概念&#xff0c;但它們經常一起使用&#xff0c;以提高程序的性能和響應能力。以下是對這兩個概念的詳細講解&#xff1a; 并發編程 (Concurrency) 并發編程是指在程序中同時執行多個任務的能力。Python提供了幾種實現并發的機制&#xff…

嵌入式進階——RTC時鐘

&#x1f3ac; 秋野醬&#xff1a;《個人主頁》 &#x1f525; 個人專欄:《Java專欄》《Python專欄》 ??心若有所向往,何懼道阻且長 文章目錄 RTC時鐘原理圖PCF8563寄存器控制與狀態寄存器 設備地址I2C環境初始化RTC寄存器數據讀取RTC寄存器數據寫入RTC鬧鐘設置RTC定時器設置…

2024.5.28晚訓題解

提前預告&#xff0c;市賽初中組會考算法題&#xff0c;應該會有兩道模板題 比如DFS BFS 二分 簡單動態規劃&#xff0c;雖然我們沒學多久&#xff0c;但是模板題你還是要會寫的 A題 編輯距離 動態規劃 注意多組輸入 #include<iostream> using namespace std; int dp[1…

9、C#【進階】特性

特性 文章目錄 1、特性概念2、自定義特性 Attribute3、特性的使用4、限制自定義特性的使用范圍5、系統自帶特性1、過時特性2、調用者信息特性3、條件編譯特性4、外部dll包函數特性 1、特性概念 特性是一種允許我們向程序的程序集添加元數據的語言結構 它是用于保存程序機構信息…

【機器學習300問】103、簡單的經典卷積神經網絡結構設計成什么樣?以LeNet-5為例說明。

一個簡單的經典CNN網絡結構由&#xff1a;輸入層、卷積層、池化層、全連接層和輸出層&#xff0c;這五種神經網絡層結構組成。它最最經典的實例是LeNet-5&#xff0c;它最早被設計用于手寫數字識別任務&#xff0c;包含兩個卷積層、兩個池化層、幾個全連接層&#xff0c;以及最…