python實戰項目76:51job數據采集與分析
- 一、數據采集
- 二、數據預處理
- 2.1 導入相關庫、讀取數據
- 2.2 查看數據
- 2.3 處理數據、刪除重復值、刪除空值
- 2.4 處理薪資水平字段數據
- 三、數據可視化
- 3.1 不同公司規模招聘崗位數量分布
- 3.2 不同公司性質招聘崗位數量分布
- 3.3 不同年限要求招聘崗位數量分布
- 3.4 不同學歷要求招聘數量占比餅圖
- 四、完整代碼
一、數據采集
在51job官網搜索上海地區的大數據開發工程師崗位，url地址。
接下來，進行抓包、尋找數據接口，然后編寫代碼，發送請求、獲取數據，解析數據以及保存數據，這些步驟不再贅述，直接上代碼。
from pprint import pprint
import requests
import csvcookies = 
)
