1. Crawley 框架相關定義

1.1 網絡爬蟲定義

網絡爬蟲是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。它通過 HTTP 協議與 Web 服務器進行交互，獲取網頁內容并進行解析處理，是數據采集和信息檢索的重要工具。

1.2 Crawley 框架定義

Crawley 是一個基于 Python 的高性能異步爬蟲框架，借鑒了 Scrapy 的設計思想并融合了 asyncio 的異步特性，特別適合大規模數據爬取任務。其核心組件包括：

• 調度器 (Scheduler)：負責管理待爬取的 URL 隊列，維護請求的優先級和去重邏輯
• 下載器 (Downloader)：基于 aiohttp 實現異步 HTTP 請求，支持高并發數據獲取
• 解析器 (Parser)</