python實戰項目58:采集蜻蜓FM熱門音頻top排行榜
- 一、采集流程介紹
- 二、數據接口采集
- 三、使用xpath提取頁面數據
- 1、抓包,找到數據接口
- 2、發送請求,獲取數據
- 3、提取數據
- 4、保存數據
一、采集流程介紹
蜻蜓FM熱門音頻top排行榜的鏈接為: https://m.qingting.fm/rank/,首頁如下圖所示:
采集的思路為1、抓包、找到數據接口;2、發送請求;3、接收請求、提取數據;4、保存數據。
二、數據接口采集
蜻蜓FM熱門音頻top排行榜經改版之后目前為靜態網站,但之前的數據接口依然可用,向接口發送請求可以直接獲取json數據,完整代碼如下:
import csv
import os
import requestsheaders = {