導讀

在現代網絡爬蟲開發中，面對 海量網頁數據、慢速響應的網絡接口，傳統的同步爬蟲方式已經不能滿足高效抓取需求。本文將手把手帶你構建一個 基于 aiohttp + asyncio 的異步爬蟲系統，實戰目標是抓取豆瓣電影 Top250 排行榜中的電影名稱、評分和詳情頁地址。

目錄

導讀

一、項目目標與網站結構分析

二、依賴模塊與環境準備

三、并發控制：Semaphore 機制

 四、請求與解析核心邏輯（fetch 函數）

五、構建主控制器 main()

六、主程序入口與性能測量

七、運行結果示例（部分）

八、異步爬蟲優勢總結

九、可改進的方向

十、完整代碼

 

---

一、項目目標與網站結構分析

目標網站：

豆瓣電影 Top 250

每頁展示 25 部電影，共 10 頁。

分頁參數位于 URL 中：

https://movie.douban.com/top250?start=0
https://movie.douban.com/top250?start=25
...
https://movie.douban.com/top250?start=225

頁面信息結構：

使用開發者工具查看，每一部電影的基本信息位于：

<ol class="grid_view"><li>  <!-- 每部電影 --><div class="item"><div class="info"><span class="title">電影名稱</span><span class="rating_num">評分</span><a href="電影鏈接">詳情頁</a></div></div></li>
</ol>

二、依賴模塊與環境準備

所需庫：

pip install aiohttp lxml

導入模塊：

import asyncio
import aiohttp
from lxml import etree
import time

模塊解釋：

• asyncio：Python 的異步編程基礎，負責事件循環和任務調度。

• aiohttp：異步 HTTP 請求客戶端。

• lxml.etree：高性能 HTML 解析庫，支持 XPath。

• time：用于性能測量。

三、并發控制：Semaphore 機制

CONCURRENCY = 2
semapho