Requests + BeautifulSoup + 額外的庫：

對于一些簡單的動態內容，你能通過分析網絡請求來找到并直接獲取這些數據。

使用 requests 庫來發送 HTTP 請求，并使用 BeautifulSoup 來解析 HTML。

對于 AJAX 請求，你可能需要使用額外的庫（如 mitmproxy 或 BrowserMob Proxy）來攔截和分析這些請求。

這種方法需要深入了解目標網頁的工作原理和數據加載方式。

采集動態網頁，通常指的是抓取那些通過 JavaScript、AJAX 或其他客戶端腳本技術動態生成內容的網頁。這種網頁在初始加載時可能只包含基本的 HTML 結構，而實際的數據和內容則是通過客戶端腳本在瀏覽器加載后從服務器獲取并動態添加到頁面中的。

為了采集這樣的網頁，你不能僅僅依賴簡單的 HTTP 請求來獲取 HTML 內容，因為這樣會錯過由 JavaScript 加載的數據。相反，你需要模擬瀏覽器的行為，執行 JavaScript 并等待頁面加載完成。

以下是一些 Python 工具和方法，可以幫助你采集動態網頁：

一、Selenium：

Selenium 是一個自動化測試工具，但它也可以用來采集動態網頁。

你可以使用 Selenium 啟動一個瀏覽器實例，并控制它加載和交互網頁。

一旦頁面加載完成，你可以獲取完整的 DOM 結構，包括由 JavaScript 動態添加的內容。

示例代碼：

from selenium import webdriver  driver = webdriver.Chrome()  # 使用 Chrome 瀏覽器