介紹

爬蟲的定義

爬蟲（Web Crawler）是一種自動化程序，用于從互聯網上抓取、提取和存儲網頁數據。其核心功能是模擬人類瀏覽行為，訪問目標網站并解析頁面內容，最終將結構化數據保存到本地或數據庫。

爬蟲的工作原理

1. 發送請求：爬蟲通過HTTP/HTTPS協議向目標網站發送請求，獲取網頁的HTML、JSON等原始數據。
2. 解析內容：使用解析工具（如正則表達式、XPath、BeautifulSoup等）提取所需數據，過濾無關信息。
3. 存儲數據：將清洗后的數據保存為文本、CSV、數據庫（如MySQL、MongoDB）或其他結構化格式。
4. 自動化管理：通過調度策略（如時間間隔、優先級隊列）控制爬取頻率，避免被封禁。

爬蟲的應用場景

• 搜索引擎：Google、百度等搜索引擎依賴爬蟲建立網頁索引庫。
• 數據分析：抓取電商平臺價格、社交媒體評論等數據用于市場分析。
• 輿情監控：實時采集新聞、論壇內容以監測公眾情緒。
• 學術研究：批量獲取公開論文、專利數據以支持統計分析。

常見技術工具

• 編程語言：Python（Scrapy、Requests庫）、JavaScript（Puppeteer）。
• 解析庫：BeautifulSoup、lxml、PyQuery。
• 反爬應對：Selenium模擬瀏覽器行為、代理IP池（如Scrapy-ProxyPool）。

法律與倫理風險

• 合規性：需遵守目標網站的robots.txt協議，避免爬取敏感或個人隱私數據。
• 反爬措施：頻繁請求可能導致IP封禁，需合理設置延遲（如time.sleep）。

示例代碼（Python）：

import requests
from bs4 import BeautifulSoupurl = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('h1').text
print(title)

requests庫簡介

requests庫是Python中用于發送HTTP請求的第三方庫，簡化了與Web服務的交互過程。它支持GET、POST等多種請求方式，并自動處理URL編碼、會話保持等細節。

獲取網頁源代碼的方法

使用requests的get()方法發送請求，通過text屬性獲取響應內容：

import requests
response = requests.get('https://example.com')
html_content = response.text

關鍵參數說明

• headers: 可模擬瀏覽器請求頭，避免被反爬
• timeout: 設置請求超時時間
• proxies: 配置代理IP
• verify: 禁用SSL驗證（僅測試環境使用）

網頁解析配合

通常結合BeautifulSoup或lxml進行內容解析：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
title = soup.find('title').text

常見問題處理

• 亂碼問題：通過response.encoding = 'utf-8'顯式設置編碼
• JSON響應：直接使用response.json()解析API返回
• 會話維持：創建Session()對象保持cookies

性能優化建議

• 復用TCP連接：啟用Session對象
• 流式下載：對大文件使用stream=True參數
• 異步請求：考慮aiohttp庫處理高并發場景

反爬應對策略

• 隨機User-Agent輪換
• 設置請求延遲
• 使用CAPTCHA識別服務
• 處理JavaScript渲染頁面時可配合Selenium

爬蟲中獲取網頁資源的方法

使用 requests 庫

requests 是一個簡單易用的 HTTP 庫，適合大多數網頁抓取任務。安裝 requests 庫可以通過 pip 命令完成：

pip install requests

獲取網頁內容的示例代碼：

import requestsurl = 'https://example.com'
response = requests.get(url)
html_content = response.text

處理可能出現的異常：

try:response = requests.get(url, timeout=5)response.raise_for_status()html_content = response.text
except requests.exceptions.RequestException as e:print(f"Error fetching the URL: {e}")

使用 urllib 庫

urllib 是 Python 的標準庫，無需額外安裝。適合簡單的網頁抓取任務。示例代碼：

from urllib.request import urlopenurl = 'https://example.com'
response = urlopen(url)
html_content = response.read().decode('utf-8')

處理動態加載內容

對于通過 JavaScript 動態加載內容的網頁，可以使用 Selenium 或 Playwright 等工具。

Selenium 示例：

from selenium import webdriverdriver = webdriver.Chrome()
driver.get('https://example.com')
html_content = driver.page_source
driver.quit()

Playwright 示例：

from playwright.sync_api import sync_playwrightwith sync_playwright() as p:browser = p.chromium.launch()page = browser.new_page()page.goto('https://example.com')html_content = page.content()browser.close()

處理 AJAX 請求

直接分析網頁的 AJAX 請求，使用 requests 庫模擬請求獲取數據。示例代碼：

import requestsajax_url = 'https://example.com/api/data'
headers = {'X-Requested-With': 'XMLHttpRequest'}
response = requests.get(ajax_url, headers=headers)
data = response.json()

使用 Scrapy 框架

Scrapy 是一個強大的爬蟲框架，適合大規模數據抓取。安裝 Scrapy：

pip install scrapy

創建 Scrapy 項目的示例代碼：

import scrapyclass ExampleSpider(scrapy.Spider):name = 'example'start_urls = ['https://example.com']def parse(self, response):yield {'title': response.css('title::text').get(),'content': response.text}

處理反爬機制

應對常見反爬機制的方法包括設置 User-Agent、使用代理、限制請求頻率等。

設置 User-Agent 的示例：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

使用代理的示例：

proxies = {'http': 'http://10.10.1.10:3128','https': 'http://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)

存儲獲取的資源

將獲取的網頁內容保存到文件或數據庫中。保存到文件的示例：

with open('page.html', 'w', encoding='utf-8') as f:f.write(html_content)

存儲到數據庫的示例（使用 SQLite）：

import sqlite3conn = sqlite3.connect('pages.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS pages (url TEXT, content TEXT)')
cursor.execute('INSERT INTO pages VALUES (?, ?)', (url, html_content))
conn.commit()
conn.close()

爬蟲中提交信息到網頁的方法

使用 requests 庫提交表單數據

通過 requests.post() 方法可以模擬表單提交。需要構建 data 或 json 參數，包含表單字段和值。
示例代碼：

import requestsurl = "https://example.com/login"
data = {"username": "user", "password": "pass"}
response = requests.post(url, data=data)
print(response.text)

處理登錄后的會話（Cookies）

使用 requests.Session() 保持會話狀態，自動處理 Cookies。
示例代碼：

session = requests.Session()
login_data = {"username": "user", "password": "pass"}
session.post("https://example.com/login", data=login_data)
# 后續請求會自動攜帶 Cookies
response = session.get("https://example.com/dashboard")

提交 JSON 數據
若網頁接口接受 JSON 格式，可通過 json 參數提交。
示例代碼：

import requestsurl = "https://example.com/api"
json_data = {"key": "value"}
response = requests.post(url, json=json_data)

處理文件上傳

通過 files 參數上傳文件，需指定文件對象和 MIME 類型。
示例代碼：

files = {"file": ("filename.txt", open("filename.txt", "rb"), "text/plain")}
response = requests.post("https://example.com/upload", files=files)

處理 AJAX 請求

部分網頁通過 AJAX 動態加載數據，需分析網絡請求（如使用瀏覽器開發者工具），模擬發送相應的請求頭和數據。
示例代碼：

headers = {"X-Requested-With": "XMLHttpRequest","User-Agent": "Mozilla/5.0"
}
data = {"param": "value"}
response = requests.post("https://example.com/ajax", headers=headers, data=data)

注意事項

• 檢查目標網站的 robots.txt 文件，遵守爬蟲規則。
• 添加合理的請求頭（如 User-Agent）以避免被攔截。
• 高頻請求可能導致 IP 被封，建議設置延遲或使用代理。

會話管理基礎

在網絡爬蟲中，會話（Session）用于維持與服務器的交互狀態，模擬用戶行為。HTTP協議本身是無狀態的，會話機制通過Cookies或Token實現狀態保持。

import requestssession = requests.Session()
response = session.get('https://example.com/login')

Cookies處理

服務器通過Set-Cookie頭部傳遞會話標識，爬蟲需保存并自動攜帶Cookies：

# 自動處理Cookies（requests.Session默認行為）
session.get('https://example.com/dashboard')  # 自動攜帶登錄后的Cookies# 手動操作Cookies
cookies = {'session_id': '123abc'}
session.cookies.update(cookies)

請求頭模擬

維持會話需要模擬瀏覽器頭部信息，避免被識別為爬蟲：

headers = {'User-Agent': 'Mozilla/5.0','Accept-Language': 'en-US,en;q=0.9'
}
session.headers.update(headers)

會話超時控制

設置連接和讀取超時防止長時間等待：

session.get('https://example.com', timeout=(3.05, 27))

持久化會話

將會話數據保存供后續使用：

import pickle# 保存會話
with open('session.pkl', 'wb') as f:pickle.dump(session.cookies, f)# 加載會話
with open('session.pkl', 'rb') as f:session.cookies.update(pickle.load(f))

代理與會話結合

通過代理服務器維持會話：

proxies = {'http': 'http://10.10.1.10:3128'}
session.proxies.update(proxies)

驗證碼處理

遇到驗證碼時會話可能需要特殊處理：

# 示例：手動輸入驗證碼
captcha_url = 'https://example.com/captcha.jpg'
response = session.get(captcha_url)
with open('captcha.jpg', 'wb') as f:f.write(response.content)
captcha = input('輸入驗證碼：')
session.post('https://example.com/login', data={'captcha': captcha})

會話劫持防護

部分網站會檢測會話異常，解決方法：

# 維持Referer頭部
session.headers['Referer'] = 'https://example.com/previous_page'# 禁用HTTP重定向自動處理（某些網站通過重定向檢測）
session.post(url, allow_redirects=False)

代理服務器

代理服務器的作用

代理服務器在爬蟲中主要用于隱藏真實IP、繞過訪問限制、提高請求成功率。常見的應用場景包括：

• 避免目標網站封禁IP
• 模擬不同地區用戶訪問
• 分散請求壓力

代理類型及選擇

1. 免費代理

• 來源：公開代理網站（如FreeProxyList、ProxyScrape）
• 優點：無需成本
• 缺點：穩定性差、速度慢、可能存在安全風險

2. 付費代理

• 推薦服務商：Luminati、Smartproxy、Oxylabs
• 優點：高匿性、穩定、支持地理位置定制
• 缺點：需要預算支持

3. 自建代理池

• 通過工具（如Scrapy-Redis）管理多個代理IP
• 結合撥號服務器或云服務動態更換IP

代碼實現示例

Python requests庫使用代理

import requestsproxies = {'http': 'http://username:password@proxy_ip:port','https': 'https://username:password@proxy_ip:port'
}response = requests.get('https://example.com', proxies=proxies)
print(response.text)

Scrapy框架代理配置
在 settings.py 中添加：

DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}# 通過中間件動態設置代理
class ProxyMiddleware:def process_request(self, request, spider):request.meta['proxy'] = 'http://proxy_ip:port'

代理IP驗證

定期檢測代理可用性：

def check_proxy(proxy):try:requests.get('https://httpbin.org/ip', proxies={'http': proxy}, timeout=5)return Trueexcept:return False

注意事項

• 遵守目標網站robots.txt規則
• 設置合理請求間隔（如DOWNLOAD_DELAY）
• 高匿名代理（Elite Proxy）更適合敏感場景
• 分布式爬蟲建議結合代理池和User-Agent輪換

selenium庫驅動瀏覽器

安裝Selenium庫

使用pip命令安裝Selenium庫：

pip install selenium

下載瀏覽器驅動

根據使用的瀏覽器下載對應的驅動：

• Chrome: 下載ChromeDriver
• Firefox: 下載GeckoDriver
• Edge: 下載EdgeDriver

將下載的驅動文件放在系統PATH路徑或項目目錄中。

基本使用方法

以下是使用Selenium驅動Chrome瀏覽器的示例代碼：

from selenium import webdriver
from selenium.webdriver.common.by import By# 初始化瀏覽器驅動
driver = webdriver.Chrome()  # 或 Firefox(), Edge()# 打開網頁
driver.get("https://www.example.com")# 查找元素并交互
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Selenium")
search_box.submit()# 關閉瀏覽器
driver.quit()

常用操作

• 查找元素：使用find_element或find_elements方法，支持多種定位方式（ID、NAME、XPATH等）。
• 頁面交互：click()點擊元素，send_keys()輸入文本，clear()清空輸入框。
• 等待機制：顯式等待（WebDriverWait）或隱式等待（implicitly_wait）確保元素加載完成。

高級功能

• 處理彈窗：使用switch_to.alert方法處理JavaScript彈窗。
• 執行JavaScript：driver.execute_script("JavaScript代碼")。
• 截圖：driver.save_screenshot("filename.png")保存頁面截圖。

注意事項

• 確保瀏覽器版本與驅動版本兼容。
• 使用完畢后調用driver.quit()釋放資源，避免內存泄漏。