---

前言

在網頁中，動態內容通常是指那些通過 JavaScript 在頁面加載后動態生成或更新的內容，傳統的基于 requests 庫直接獲取 HTML 的方式無法獲取這些動態內容。以下為你介紹幾種使用 Python 爬蟲處理網頁中動態內容的方法：

---

一、Python環境搭建

1.Python安裝

訪問 Python 官方網站，根據你的操作系統（Windows、Mac 或 Linux）下載并安裝 Python 3.x 版本。安裝時勾選 “Add Python to PATH”，方便在命令行中使用 Python。

Python 3.7安裝教程：https://blog.csdn.net/u014164303/article/details/145620847
Python 3.9安裝教程：https://blog.csdn.net/u014164303/article/details/145570561
Python 3.11安裝教程：https://blog.csdn.net/u014164303/article/details/145549489

2.選擇Python開發環境

下載 PyCharm 社區版（免費）或專業版（需付費或申請教育版）。安裝完成后，打開 PyCharm，創建一個新的項目，在項目設置中選擇之前創建的虛擬環境作為項目的 Python 解釋器。PyCharm 功能強大，提供代碼自動補全、調試等功能，適合開發大型項目。

Pycharm安裝教程：https://blog.csdn.net/u014164303/article/details/145674773
PyCharm下載地址：https://pan.quark.cn/s/5756c8cf8b2a

二、Python爬蟲處理網頁中的動態內容

1. 使用 Selenium 庫

Selenium 是一個自動化測試工具，它可以模擬用戶在瀏覽器中的操作，等待 JavaScript 代碼執行完成后再獲取頁面內容。
安裝依賴

pip install selenium

此外，你還需要下載對應瀏覽器的驅動，如 Chrome 瀏覽器需要下載 ChromeDriver，下載地址為：ChromeDriver 下載 ，下載后將其添加到系統的環境變量中。
示例代碼

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time# 設置 ChromeDriver 的路徑
chrome_driver_path = 'path/to/chromedriver'
service = Service(chrome_driver_path)# 創建 Chrome 瀏覽器實例
driver = webdriver.Chrome(service=service)# 打開網頁
url = 'https://example.com'
driver.get(url)# 等待頁面加載，可根據實際情況調整等待時間
time.sleep(5)# 獲取動態加載的元素
element = driver.find_element(By.ID, 'dynamic-element-id')
print(element.text)# 關閉瀏覽器
driver.quit()

2. 使用 Pyppeteer 庫

Pyppeteer 是一個 Python 版本的 Puppeteer 庫，Puppeteer 是 Google 開發的一個 Node.js 庫，用于控制 Chrome 或 Chromium 瀏覽器。Pyppeteer 可以實現與瀏覽器的交互，處理動態內容。
安裝依賴

pip install pyppeteer

示例代碼

import asyncio
from pyppeteer import launchasync def main():# 啟動瀏覽器browser = await launch()page = await browser.newPage()# 打開網頁url = 'https://example.com'await page.goto(url)# 等待頁面加載await page.waitForSelector('#dynamic-element-id')# 獲取動態元素的文本內容element = await page.querySelector('#dynamic-element-id')text = await page.evaluate('(element) => element.textContent', element)print(text)# 關閉瀏覽器await browser.close()# 運行異步函數
asyncio.get_event_loop().run_until_complete(main())

3. 分析 API 請求

有些網頁的動態內容是通過調用后端 API 獲取的，你可以通過瀏覽器的開發者工具（如 Chrome 的開發者工具）分析網絡請求，找到這些 API 的 URL 和請求參數，然后使用 requests 庫直接調用這些 API 獲取數據。
示例步驟
打開網頁，在 Chrome 瀏覽器中按下 F12 打開開發者工具，切換到 “Network” 標簽頁。
刷新頁面，觀察網絡請求，找到與動態內容相關的 API 請求。
分析請求的 URL、請求方法（GET 或 POST）和請求參數。
使用 requests 庫發送請求獲取數據。
示例代碼

import requests# API 的 URL
api_url = 'https://example.com/api/data'# 請求參數
params = {'param1': 'value1','param2': 'value2'
}# 發送 GET 請求
response = requests.get(api_url, params=params)# 檢查響應狀態碼
if response.status_code == 200:data = response.json()print(data)
else:print(f"請求失敗，狀態碼: {response.status_code}")

通過以上幾種方法，你可以有效地處理網頁中的動態內容，實現更全面的數據抓取。在實際應用中，需要根據具體情況選擇合適的方法。