請求庫(requests,selenium)、解析庫(beautifulsop)、存儲庫、工具庫等
?
urelib? ?
re
上面這兩個是python自帶的庫
需要自己安裝額庫:
(在windows下,使用pip install 命令)
requests
selenium用來驅動瀏覽器,做自動化測試,一些被js渲染的用這個來獲取源代碼
phantomjs,無界面瀏覽器,下載,并將phantomjs.exe配置到環境變量
lxml,可以用來進行網頁的解析
------------------------------------
beautifulsoup,也是一個網頁解析庫,并且依賴于lxml庫,在安裝時需要輸入pip3 install beautifulsoup4,導入時使用import bs4 ?
from bs4 import Beautifulsoup
-------------------------------------
?
pyquery也是一個網頁解析庫,比beautifulsoup更加方便
一些存儲庫:
pymysql
pymongo
redis
一些工具庫
flask是一個web庫,在做一些代理的設置是=時,可? 能會用到這個庫
django,一個web服務器框架
jupyter,可以理解為一個筆記本,但這個筆記本功能比較強,可以在先運行代碼,很多功能,用來寫代碼或者文檔記錄很方便
在linux下,使用如下命令即可:
pip3 install requests selenium beautifulsoup4 puquery pymysql pymongo redis flask django jupyter
?