用到的庫:BeautifulSoup
實現效果:爬取網站內容,拿到html文本并解析html文本
代碼:
先爬取
# 先導入requests包
import requests
url='https://www.baidu.com'
response=requests.get(url)
# 做1個斷言,如果執行成功,拿到html文本
if response.status_code==200:html_content=response.textprint(html_content)
else:print(f'訪問失敗,狀態碼是{response.status_code}')
再解析(需要和前面的代碼一起執行)
# 導入BeautifulSoup包
from bs4 import BeautifulSoup
# 解析html內容
soup=BeautifulSoup(html_content,'html.parser')
# 提取網頁里面的超鏈接
links=soup.find_all('a')
for link in links:print(link.get('href'))
代碼效果