python爬取網易云歌單_詳解python selenium 爬取網易云音樂歌單名

目標網站:

201903280921107.png

首先獲取第一頁的數據,這里關鍵要切換到iframe里

201903280921108.png

打印一下

201903280921109.png

獲取剩下的頁數,這里在點擊下一頁之前需要設置一個延遲,不然會報錯。

2019032809211010.png

結果:

2019032809211011.png

一共37頁,爬取完畢后關閉瀏覽器

完整代碼:

url = 'https://music.163.com/#/discover/playlist/'

from selenium import webdriver

import time

# 創建瀏覽器對象

window = webdriver.Chrome('./chromedriver')

window.get(url)

time.sleep(1)

# 切換到iframe窗口

iframe = window.find_element_by_id('g_iframe')

window.switch_to.frame(iframe)

music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')

for music_element in music_list:

print(music_element.text)

print()

print('*'*20)

page = 1

# 開始提取

while True:

time.sleep(2)

# 獲取下一頁

next = window.find_element_by_link_text('下一頁')

if not next.get_attribute('class') == 'zbtn znxt js-disabled':

next.click()

else:

break

time.sleep(1)

# 提取數據

music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')

for music_element in music_list:

print(music_element.text)

print()

print(page,'*'*20)

page+=1

# 退出瀏覽器

window.quit()

以上所述是小編給大家介紹的python selenium爬取網易云音樂歌單名詳解整合,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/455605.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/455605.shtml
英文地址,請注明出處:http://en.pswp.cn/news/455605.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Idea的一些調試技巧及設置todo

程序員的工作內容,除了大部分時間寫代碼之外,因為有不少的時間是用在調試代碼上。甚至說不是在調試代碼,就是即將調試代碼。 :) 今天我們來談談調試代碼的一些技巧,在使用IDE提供的debugger時一些快速定位問題的方式。 看到這里的…

安裝Node.js和npm

安裝Node.js和npm 學習了:http://www.liaoxuefeng.com/wiki/001434446689867b27157e896e74d51a89c25cc8b43bdb3000/00143450141843488beddae2a1044cab5acb5125baf0882000 轉載于:https://www.cnblogs.com/stono/p/6891242.html

c++ cstring 轉換 char_cstring.h庫常用函數

上周,老師講了大整數的運算方法,我對大數的存儲和運算還有些不理解,仔細思考了一下,其實還是訓練孩子對機器存儲數據的各種掌握和運用吧。不多想,先期孩子雖然一直學習,但是缺乏對知識的系統整理&#xff0…

Django后臺管理之商品分類

商品分類 1.建表字段 1.pid:用來綁定父類的 2.path:用來拼接id,保證查詢出的數據是按照層級關系展示的2.concat 把表中的兩個字段拼接成一個新的字段,通過as重新命名3.查詢語句 1.按照第二步拼接成新的字段的名字進行排序查詢…

PMT_Stream數據結構

0123 012345670123456701234567012345671stream_type reserved_1elementary_PIDreserved_2ES_info_length 2ES_info_length …(描述信息)3…(描述信息)4crc32 1 節目號 stream_type 8指示了PID為elementary_PID的PES分組中原始流的類型&#xf…

Maven:基本使用

為什么80%的碼農都做不了架構師?>>> 1.項目管理工具: Maven的repository,說白了就是dependency的倉庫,它按照一定的規則將dependency存放起來,以作緩存,如果本機的 repository找不到某個depen…

UVA 11383 - Golden Tiger Claw(二分圖完美匹配擴展)

UVA 11383 - Golden Tiger Claw 題目鏈接 題意:給定每列和每行的和,給定一個矩陣,要求每一個格子(x, y)的值小于row(i) col(j),求一種方案,而且全部行列之和的和最小 思路:A二分圖完美匹配的擴展&#xff…

淺談web開發以及django的安裝和入門

淺談web開發 1.B/S和C/S結構 B/S:瀏覽器與服務器進行的交互模式(不需要官方下載的,一夫多妻制) C/S:客戶機與服務器進項的交互模式(必須官方下載的,一夫一妻制2.MVC和MVT MVC: M:模型層(Model&#xff0…

大數據可視化html模板開源_大數據時代-可視化數據分析平臺必不可少

公眾號:不安分的猿人一、項目簡介DataGear是一款數據管理與可視化分析平臺,使用Java語言開發,采用瀏覽器/服務器架構,支持多種數據庫, 主要功能包括數據管理、SQL工作臺、數據導入/導出、數據集管理、圖表管理、看板管…

java輸出一些內容到日志文件

在eclipse中新建一個項目,在src下新建一個log4j.properties文件,文件內容為下:log4j.rootLogger debug,stdout,D,Elog4j.appender.E org.apache.log4j.DailyRollingFileAppenderlog4j.appender.E.File E://logs/error.log log4j.appender.E…

PMT_Header-節目映射表的數據結構2

1 標志位 table_id8固定為0x02 ,標志是該表是PAT2段語法標志位section_syntax_indicator 1段語法標志位,固定為13 zero104保留字reserved_12保留字5有用的字節數section_length 12表示這個字節后面有用的字節數&#x…

Django中的Model模型

Model模型 模型是你的數據的唯一的、權威的信息源。它包含你所儲存數據的必要字段和行為。 通常,每個模型對應數據庫中唯一的一張表。 每個模型都是django.db.models.Model的一個Python 子類。模型的每個屬性都表示為數據庫中的一個字段。Django 提供一套自動生成的…

python有多少種模塊_python如何查看有哪些模塊

Question: 如何查看正則表達式模塊re及其相關函數的意義 1、終端命令行下 python >> import sys >> sys.modules ################################### 一長串信息中字段modules對應的模塊即為包含的模塊。 ################################### >> import r…

淺談面向對象的javascript幾個特性

javascript中的this和new javascript是一門很靈活的語言,尤其是function。他即可以以面向過程的方式來用,比如: function getName() {return 張三 } getName() 也可以以面向對象的方式來用,比如: function User() {th…

【Netty】ChannelHandler和ChannelPipeline

一、前言 前面學習了Netty的ByteBuf,接著學習ChannelHandler和ChannelPipeline。 二、ChannelHandler和ChannelPipeline 2.1 ChannelHandler 在ChannelPipeline中,ChannelHandler可以被鏈在一起處理用戶邏輯。 1. Channel生命周期 Channel接口定義了一個…

TS流頭部的調整字段

見 http://hi.baidu.com/xumingxsh/blog/item/7b178903f1fa98014afb512f.html http://hi.baidu.com/xumingxsh/blog/item/ba50dba320a10da3caefd02f.html

electron 入坑記

最近有個想法,想寫個簡單的應用程序.平時在 Mac上開發,最終有可能運行在 Windows 上.看了一下,Electron 比較簡單,應該可以一試. 關于安裝 我機器上是有 Node 環境的,按著官方教程 直接 npm install electron 結果運行到 npm install.js就不到了..下午上班有事,也沒管他,結果一…

自動駕駛安全駕駛規則_自動駕駛知識科普 自動駕駛汽車的七大核心技術

自動駕駛技術的本質是用機器視角去模擬人類駕駛員的行為,其技術框架可以分為三個環節:感知層、決策層 和執行層,具體涉及傳感器、計算平臺、算法、高精度地圖、OS、HMI等 多個技術模塊。目前自動駕駛L3商業化技術已經成熟,L4級/L5…

orcal數據操作

1.將數據庫ZHSY完全導出,用戶名baseusernj密碼baseusernj導出到D:\daochu.dmp中 exp baseusernj/baseusernjZHSY filed:\daochu.dmp fully exp baseuserhf/baseuserhfZJCPDB fileC:\105hf.dmp ownerbaseuserhf 2.導入那個數據庫的用戶就寫那個,第一個是用戶名&#…