數據信息采集

洛哥爬蟲【視頻】 愛寫爬蟲

我愛扣腳

https://careers.pinduoduo.com/jobs#/

from DrissionPage import ChromiumPage, ChromiumOptions
def fetch_pinduoduo_jobs():# 創建ChromiumOptions對象co = ChromiumOptions()# 提供瀏覽器可執行文件的路徑path = r'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe'co.set_browser_path(path)# 創建ChromiumPage對象page = ChromiumPage(co)# 開始監聽api_endpoint = '/api/recruit/position/list'page.listen.start(api_endpoint)# 訪問目標頁面page.get('https://careers.pinduoduo.com/jobs#/')# 等待并獲取一個數據包res = page.listen.wait()if res:print(res._raw_body)for pagenum in range(2, 79):# 點擊下一頁按鈕pagenumstr = f"x://a[text()='{pagenum}']"next_page_button = page.ele(pagenumstr)page.listen.start(api_endpoint)if next_page_button:next_page_button.click()# 重新監聽并獲取數據包res = page.listen.wait()if res:print(res._raw_body)page.wait(5)# 關閉瀏覽器page.close()
if __name__ == '__main__':fetch_pinduoduo_jobs()