前言
本文是該專欄的第10篇,后面會持續分享python爬蟲案例干貨,記得關注。
本文以汽車之家新車優惠價為例,獲取各車型的優惠價,示例圖如下:
地址:aHR0cHM6Ly9idXkuYXV0b2hvbWUuY29tLmNuLzAvMC8wLzQyMDAwMC80MjAxMDAvMC0wLTAtMS5odG1sI3B2YXJlYWlkPTIxMTMxOTU=
需求:獲取各車型優惠價
具體的詳細思路以及采集方法,跟著筆者直接往下看正文詳細內容。(附帶完整代碼)
正文
1. 請求方式和參數分析
獲取目標url的方法,筆者在這里不做過多詳述。不太明白的同學,可以查看本專欄上一篇文章思路即可。
拿到url之后,使用瀏覽器打開,然后直接按F12或者Ctrl+Shift+I組合鍵啟動控制臺。
接下來直接嘗試頁面底部翻頁(頁數隨機),并觀察右側控制臺區域Network下面的Fetch/XHR,會看到如下信息: