使用DrissionPage實現xhs筆記自動翻頁并爬取筆記視頻、圖片
聲明:
本文章中所有內容僅供學習交流使用,不用于其他任何目的,不提供完整代碼,抓包內容、敏感網址、數據接口等均已做脫敏處理,嚴禁用于商業用途和非法用途,否則由此產生的一切后果均與作者無關!
本文章未經許可禁止轉載,禁止任何修改后二次傳播,擅自使用本文講解的技術而導致的任何意外,作者均不負責,若有侵權,請私信作者立即刪除!
- 近期小紅書xs又更新了,剛好最近需要爬取某博主下的筆記信息,時間比較倉促,于是使用拽神來實現數據爬取的目的
- 爬取數據效果圖如下:
爬取標題、描述、發布時間、最后更新時間、視頻以及圖片
圖片需要保持在對應文章行中,排在最后列,并且視頻和圖片需要下載到本地,在游標ID列上做超鏈接,點擊可以跳轉對應的圖片或視頻
話不多說,開干
首先我們需要想一下,如果不通過代碼,我們平常從網站上獲取這些信息,實現我們的數據需求,都需要哪些操作?
- 打開目標網站,登錄
- 登錄后查找指定博主,進入主頁
- 點擊文章,進入詳情界面,可以獲取標題、描述、發布時間、視頻或圖片等信息
- 關閉上一個文章界面,繼續點擊下一個,重復操作
- 滑