網絡爬蟲（Web Crawler）詳解

---

1. 基本概念與核心目標

• 定義：
  網絡爬蟲是一種自動化的程序，通過HTTP協議訪問網頁，提取并存儲數據（如文本、鏈接、圖片），并根據策略遞歸訪問新鏈接。
• 核心目標：
  • 數據采集：抓取特定網站或全網公開數據。
  • 索引構建：為搜索引擎提供頁面內容（如Google的爬蟲）。
  • 監控分析：跟蹤網站內容變化（如價格監控、新聞聚合）。

比喻：
爬蟲像一只蜘蛛（Spider）在互聯網的“網”上爬行，從一個節點（網頁）出發，沿著鏈接（絲線）探索新節點，記錄所有發現的信息。

---

2. 核心組件與工作流程

1. 種子URL隊列：初始入口URL列表（如https://example.com）。
2. 下載器（Downloader）：
   使用URL類或HTTP客戶端（如HttpClient）獲取網頁內容。
3. 解析器（Parser）：
   解析HTML（如用Jsoup庫）提取數據和新鏈接。
4. 去重器（Deduplicator）：
   過濾已訪問的URL（常用布隆過濾器或哈希表）。
5. 存儲系統：
   保存抓取結果（文件、數據庫或內存結構）。

工作流程：

種子URL → 下載頁面 → 解析內容 → 提取數據/鏈接 → 去重 → 新URL入隊 → 循環

---

3. Java實現爬蟲的關鍵技術

3.1 發送HTTP請求

• 原生方式：
  使用URL和URLConnection（適合簡單場景）：

  URL url = new URL("https://example.com");
  HttpURLConnection conn = (HttpURLConnection) url.openConnection();
  conn.setRequestMethod("GET");
  try (BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()))) {// 讀取響應內容
  }
  

• 高級庫：
  推薦使用Apache HttpClient或OkHttp（支持連接池、重試、異步等）：

  CloseableHttpClient client = HttpClients.createDefault();
  HttpGet request = new HttpGet("https://example.com");
  try (CloseableHttpResponse response = client.execute