Selenium 使用指南：從入門到精通

Selenium 是一個用于自動化 Web 瀏覽器操作的強大工具，廣泛應用于自動化測試和 Web 數據爬取中。本文將帶你從入門到精通地掌握 Selenium，涵蓋其基本操作、常用用法以及一個完整的圖片爬取示例。

1. 環境配置

1.1 安裝 Selenium

在 Python 環境中，可以通過 pip 安裝 Selenium：

pip install selenium

1.2 下載 WebDriver

Selenium 需要與特定瀏覽器的 WebDriver 一起使用。例如，若使用 Chrome 瀏覽器，需要下載 ChromeDriver 并確保路徑已配置好。

1.3 設置 WebDriver 路徑

將下載的 WebDriver 解壓后，路徑可以設置到系統環境變量中，或在代碼中指定其位置。

2. Selenium 基本用法

2.1 啟動瀏覽器并打開頁面

from selenium import webdriver# 創建 Chrome 瀏覽器實例并指定 WebDriver 路徑
driver = webdriver.Chrome(executable_path=r'C:\Program Files\Google\Chrome\Application\chromedriver.exe')# 打開網頁
driver.get('https://www.example.com')# 關閉瀏覽器
driver.quit()

2.2 查找元素

可以通過多種方式查找頁面中的元素：

# 通過 ID
element_by_id = driver.find_element_by_id('element-id')# 通過 name
element_by_name = driver.find_element_by_name('element-name')# 通過 class
element_by_class = driver.find_element_by_class_name('element-class')# 通過 tag
element_by_tag = driver.find_element_by_tag_name('tag-name')# 通過 CSS selector
element_by_css = driver.find_element_by_css_selector('css.selector')# 通過 XPath
element_by_xpath = driver.find_element_by_xpath('//tag[@attribute="value"]')

2.3 交互操作

2.3.1 點擊事件

# 查找并點擊按鈕
button = driver.find_element_by_id('button-id')
button.click()

2.3.2 輸入文本

# 查找輸入框并輸入文本
input_box = driver.find_element_by_name('input-name')
input_box.send_keys('Hello, World!')

2.4 獲取元素屬性和文本

# 獲取屬性值
attribute_value = element_by_id.get_attribute('attribute-name')# 獲取文本內容
text_content = element_by_id.text

2.5 等待元素加載

在某些情況下，需要等待元素加載完成：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECelement = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, 'element-id'))
)

2.6 處理彈窗和多窗口

2.6.1 處理 JavaScript 彈窗

# 切換并接受彈窗
alert = driver.switch_to.alert
alert.accept()

2.6.2 切換窗口

# 獲取所有窗口句柄
handles = driver.window_handles# 切換到新窗口
driver.switch_to.window(handles[1])

2.7 執行 JavaScript

# 滾動頁面到元素
driver.execute_script("arguments[0].scrollIntoView();", element_by_id)

2.8 截圖

# 保存當前頁面截圖
driver.save_screenshot('screenshot.png')

2.9 管理 Cookies

# 獲取所有 Cookies
cookies = driver.get_cookies()# 添加新 Cookie
driver.add_cookie({'name': 'key', 'value': 'value'})# 刪除一個 Cookie
driver.delete_cookie('key')# 刪除所有 Cookies
driver.delete_all_cookies()

3. 高級用法：爬取網頁圖片

3.1 爬取示例代碼

以下是一個使用 Selenium 爬取網頁圖片的完整示例：

from selenium import webdriver
import os
import urllib.request# 設置 ChromeDriver 路徑并打開瀏覽器
driver = webdriver.Chrome(executable_path='path/to/chromedriver')# 打開目標網頁
driver.get('https://www.example.com')# 查找所有圖片元素
images = driver.find_elements_by_tag_name('img')# 創建保存圖片的文件夾
os.makedirs('downloaded_images', exist_ok=True)# 下載所有圖片
for i, img in enumerate(images):src = img.get_attribute('src')if src:print(f"Downloading image {i+1}: {src}")# 下載并保存圖片urllib.request.urlretrieve(src, f'downloaded_images/image_{i+1}.jpg')# 關閉瀏覽器
driver.quit()import urllib.request
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://netflav.com/trending")
element_by_id = driver.find_element(By.ID, 'kw')
element_by_id.send_keys("hello")
driver.find_element(By.ID, 'su').click()
plants = driver.find_elements(By.TAG_NAME, "img")
for idx, img_element in enumerate(plants):img_url = img_element.get_attribute('src')urllib.request.urlretrieve(src, f'image_{idx+1}.jpg')
driver.quit()

3.2 代碼解釋

• 導入庫并設置 WebDriver：導入 Selenium 和 Python 標準庫用于文件操作和 HTTP 請求。
• 打開網頁并獲取圖片元素：使用 find_elements_by_tag_name('img') 獲取所有圖片元素。
• 下載圖片：遍歷圖片元素，獲取 src 屬性并下載圖片到本地。

4. 總結

通過本文的介紹，相信你已經對 Selenium 的基本操作和高級應用有了全面的了解。Selenium 是一個強大且靈活的工具，在自動化測試和數據爬取中都能提供極大便利。通過學習和實踐這些功能，可以極大地提升自動化流程的效率。希望這篇文章能幫助你更好地掌握 Selenium。