引言
在網絡爬蟲開發中，合理控制請求延遲（Request Delay）是避免被封禁、提高爬取效率的關鍵。固定延遲（如 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">time.sleep(1)</font>**）雖然簡單，但在面對不同網站的反爬策略時可能不夠靈活。動態調整請求延遲能夠更智能地適應目標網站的變化，提高爬蟲的穩定性和效率。
本文將介紹如何動態調整Python爬蟲的請求延遲，包括：
- 固定延遲 vs. 動態延遲的優劣
- 基于響應狀態碼的動態延遲調整
- 基于請求頻率的動態延遲調整
- 結合代理IP和用戶代理（User-Agent）優化延遲
1. 固定延遲 vs. 動態延遲
1.1 固定延遲
固定延遲是最簡單的控制方式，例如：
import time
import requestsfor url in urls:response = requests.get(url)time.sleep(1) # 固定延遲1秒
優點：實現簡單，適用于低頻率爬取。
缺點：
- 如果目標網站允許更快的請求，固定延遲會降低爬取效率。
- 如果目標網站檢測到固定間隔請求，可能觸發反爬機制。
1.2 動態延遲
動態延遲根據網站響應、請求頻率等因素調整等待時間，例如：
- 如果服務器返回
**<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">429 Too Many Requests</font>**，則增加延遲。 - 如果連續多次請求成功，則適當降低延遲。
- 隨機化延遲，模擬人類操作。
2. 基于響應狀態碼的動態延遲
如果服務器返回 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">429</font>** 或 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">503</font>**，說明請求頻率過高，此時應增加延遲；如果正常返回 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">200</font>**，則可以適當降低延遲。
實現代碼
import time
import requests
import randomclass DynamicDelayCrawler:def __init__(self, base_delay=1, max_delay=5):self.base_delay = base_delay # 基礎延遲self.max_delay = max_delay # 最大延遲self.current_delay = base_delaydef adjust_delay(self, status_code):if status_code == 429: # 請求過多，增加延遲self.current_delay = min(self.current_delay * 2, self.max_delay)elif status_code == 200: # 請求成功，嘗試降低延遲self.current_delay = max(self.current_delay * 0.9, self.base_delay)def crawl(self, url):try:response = requests.get(url)self.adjust_delay(response.status_code)print(f"URL: {url}, Status: {response.status_code}, Delay: {self.current_delay:.2f}s")time.sleep(self.current_delay)return response.textexcept Exception as e:print(f"Error fetching {url}: {e}")time.sleep(self.current_delay * 2) # 出錯時增加延遲return None# 測試
crawler = DynamicDelayCrawler(base_delay=1, max_delay=10)
urls = ["https://example.com/page1", "https://example.com/page2", "https://example.com/page3"]
for url in urls:crawler.crawl(url)
3. 基于請求頻率的動態延遲
某些網站可能沒有明確的 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">429</font>** 響應，但會通過其他方式限制爬蟲（如封IP）。我們可以統計單位時間內的請求次數，動態調整延遲。
實現代碼
import time
import requests
from collections import dequeclass RequestRateLimiter:def __init__(self, max_requests=10, time_window=10):self.max_requests = max_requests # 時間窗口內允許的最大請求數self.time_window = time_window # 時間窗口（秒）self.request_times = deque() # 存儲請求時間戳def wait_if_needed(self):now = time.time()# 移除超出時間窗口的請求記錄while self.request_times and now - self.request_times[0] > self.time_window:self.request_times.popleft()if len(self.request_times) >= self.max_requests:# 計算需要等待的時間wait_time = self.time_window - (now - self.request_times[0])print(f"Rate limit reached, waiting {wait_time:.2f}s")time.sleep(wait_time)self.request_times.append(now)# 測試
limiter = RequestRateLimiter(max_requests=5, time_window=5) # 5秒內最多5次請求
urls = [f"https://example.com/page{i}" for i in range(10)]
for url in urls:limiter.wait_if_needed()response = requests.get(url)print(f"Fetched {url}, Status: {response.status_code}")
4. 結合代理IP和隨機User-Agent優化
動態調整延遲的同時，使用代理IP和隨機User-Agent可以進一步降低被封禁的風險。
實現代碼
import random
import time
import requests
from fake_useragent import UserAgentclass AdvancedCrawler:def __init__(self, base_delay=1, max_delay=10):self.base_delay = base_delayself.max_delay = max_delayself.current_delay = base_delayself.ua = UserAgent()# 添加指定的代理信息self.proxyHost = "www.16yun.cn"self.proxyPort = "5445"self.proxyUser = "16QMSOML"self.proxyPass = "280651"self.proxies = [f"http://{self.proxyUser}:{self.proxyPass}@{self.proxyHost}:{self.proxyPort}",# 如果需要保留原有代理，可以將它們也加入到列表中# "<url id="d02v8neruqkqvdqddo90" type="url" status="failed" title="" wc="0">http://proxy1.example.com:8080</url> ",# "<url id="d02v8neruqkqvdqddo9g" type="url" status="failed" title="" wc="0">http://proxy2.example.com:8080</url> ",]def get_random_proxy(self):return random.choice(self.proxies) if self.proxies else Nonedef adjust_delay(self, status_code):if status_code == 429:self.current_delay = min(self.current_delay * 2, self.max_delay)elif status_code == 200:self.current_delay = max(self.current_delay * 0.9, self.base_delay)def crawl(self, url):headers = {"User-Agent": self.ua.random}proxy = self.get_random_proxy()try:response = requests.get(url,headers=headers,proxies={"http": proxy, "https": proxy} if proxy else None,timeout=10)self.adjust_delay(response.status_code)print(f"URL: {url}, Status: {response.status_code}, Delay: {self.current_delay:.2f}s")time.sleep(self.current_delay + random.uniform(0, 0.5)) # 增加隨機抖動return response.textexcept Exception as e:print(f"Error fetching {url}: {e}")time.sleep(self.current_delay * 2)return None# 測試
crawler = AdvancedCrawler(base_delay=1, max_delay=10)
urls = [f"https://example.com/page{i}" for i in range(5)]
for url in urls:crawler.crawl(url)
5總結
動態調整Python爬蟲的Request請求延遲是一種有效的優化策略，可以提高爬蟲的穩定性和效率。通過基于響應時間、服務器負載和反爬機制的動態調整策略，爬蟲可以在復雜的網絡環境中靈活運行，同時降低被封禁的風險。本文提供的代碼示例展示了如何實現動態調整請求延遲，開發者可以根據實際需求進行進一步優化和擴展。
)
項目)
