爬蟲中網絡知識基礎

HTTP（HyperText Transfer Protocol）和 HTTPS（HyperText Transfer Protocol Secure）是互聯網上用于傳輸網頁內容等數據的兩種主要協議，以下是它們的定義和基本工作原理：

HTTP

定義：HTTP 是一種超文本傳輸協議，用于在客戶端（如瀏覽器）和服務器之間傳輸網頁內容、圖片、視頻等超文本資源。
工作原理 ：
- 請求 - 響應模式 ：客戶端向服務器發送請求，服務器根據請求返回相應的響應。例如，當用戶在瀏覽器中輸入網址并訪問網頁時，瀏覽器會向服務器發送 HTTP 請求，服務器接收到請求后，會根據請求的內容返回相應的網頁數據等作為響應。
- 無狀態協議 ：HTTP 是無狀態的，即服務器不會記錄客戶端之前發送的請求信息，每次請求都是獨立的。服務器處理完一個請求并返回響應后，連接就會關閉，不會保留與該請求相關的任何狀態信息。例如，用戶在瀏覽一個普通新聞網站時，每次點擊不同的新聞鏈接，瀏覽器向服務器發送不同的請求，服務器處理完每個請求并返回相應頁面后，不會記住之前已經處理過哪些請求。
特點：
- 簡單快速 ：協議本身比較簡單，傳輸速度快，適合傳輸一些對安全性要求不高的數據，如普通網頁內容等。
- 靈活：可以傳輸多種類型的數據，如文本、圖片、視頻等，并且可以通過各種方法和狀態碼來處理不同的請求和響應情況。
- 無連接 ：每次請求都需要建立新的連接，請求完成后連接就會關閉，這種機制相對簡單，但在頻繁請求的場景下，可能會增加網絡開銷。

HTTPS

定義：HTTPS 是 HTTP 的安全版本，它在 HTTP 的基礎上添加了 SSL/TLS 加密層，用于在客戶端和服務器之間建立加密通道，確保數據傳輸的安全性。
工作原理 ：
- 握手階段 ：當客戶端連接到服務器時，首先會進行 SSL/TLS 握手過程。客戶端和服務器會協商加密算法、交換加密密鑰等信息，以建立安全的加密通道。這個過程包括客戶端向服務器發送加密請求、服務器回應客戶端并發送數字證書、客戶端驗證服務器的合法性、客戶端準備密鑰交換信息、服務器解密預主密鑰并生成會話密鑰等步驟。
- 加密通信階段 ：握手完成后，客戶端和服務器之間通過加密通道進行數據傳輸。雙方使用會話密鑰對數據進行加密和解密，確保數據在傳輸過程中不被竊取和篡改。
特點：
- 安全性高 ：通過 SSL/TLS 加密層對數據進行加密，可以有效防止數據在網絡傳輸過程中被竊取、篡改和偽造，保護用戶的隱私和安全。
- 身份驗證 ：服務器需要向客戶端提供數字證書，客戶端可以驗證服務器的身份，確保連接到的是真實的服務器，而不是假冒的網站。
- 兼容性好 ：在現有 HTTP 協議的基礎上進行了擴展，與 HTTP 兼容，可以在不影響現有網站架構的情況下，為網站提供更安全的訪問方式

URL（Uniform Resource Locator，統一資源定位器），也常被稱為網址（Web 地址），用于標識和定位互聯網上的資源（如網頁、圖片、視頻、文件等），是萬維網（WWW）中用于指定信息位置的標準方法。

URL 的基本結構

一個典型的 URL 通常由以下幾個部分組成：

協議（Protocol） ：也稱為方案（Scheme），它指定了用于訪問資源的協議類型。最常見的協議有 HTTP（超文本傳輸協議）和 HTTPS（安全的超文本傳輸協議），此外還有 FTP（文件傳輸協議）、file（用于訪問本地文件）、mailto（用于發送電子郵件）等。
- 例如，在 “https://www.baidu.com/s?wd=爬蟲” 中，“https” 就是協議部分，表示使用安全的超文本傳輸協議來訪問資源。
子域名（Subdomain） ：用于進一步劃分和標識網站的不同部分或服務。
- 例如，在 “https://www.baidu.com/s?wd=爬蟲” 中，“www” 是子域名，通常代表該網站的主頁面或主要服務部分。
頂級域名（Top-level domain，TLD） ：頂級域名是域名層級結構中的最頂層，用于標識網站所屬的通用類別或國家和地區等。常見的頂級域名有 “.com”（商業機構）、“.org”（非營利組織）、“.net”（網絡服務提供商）、“.edu”（教育機構）、“.cn”（中國國家頂級域名）等。
- 在 “https://www.baidu.com/s?wd=爬蟲” 中，“com” 就是頂級域名。
二級域名（Second-level domain） ：二級域名是頂級域名下的具體域名，由個人或組織注冊和管理，用于標識特定的網站。在 “https://www.baidu.com/s?wd=爬蟲” 中，“baidu” 是二級域名，用于標識百度這個特定的網站。
端口號（Port number）（可選） ：端口號用于標識特定的網絡服務或應用程序，它幫助瀏覽器確定將請求發送到服務器的哪個端口。在 URL 中，端口號一般跟在域名或 IP 地址后面，用冒號 “:” 分隔。如果省略端口號，瀏覽器會使用默認端口，如 HTTP 默認使用 80 端口，HTTPS 默認使用 443 端口。
- 例如，“http://example.com:8080/page” 中，“8080” 是端口號，表示該資源位于服務器的 8080 號端口上。
路徑（Path） ：路徑用于服務器指定上具體資源的位置，從網站的根目錄開始，層層深入地指定資源所在的目錄結構。
- 在 “https://www.baidu.com/s?wd=爬蟲” 中，“/s” 是路徑，表示要訪問的是服務器上 “/s” 這個位置的資源，通常對應一個網頁或程序的入口。
查詢字符串（Query string）（可選） ：查詢字符串用于向服務器傳遞額外的參數信息，以指定對資源的特定操作或請求特定的內容。它通常以問號 “?” 開頭，后面跟著一個或多個鍵值對（參數名和參數值用等號 “=” 連接，多個鍵值對之間用 “&” 分隔）。
- 在 “https://www.baidu.com/s?wd=爬蟲” 中，“wd=爬蟲” 是查詢字符串，表示向服務器傳遞了一個名為 “wd” 的參數，其值為 “爬蟲”，用于在百度中搜索 “爬蟲” 相關的內容。

Cookie 是存儲在用戶本地終端上的數據（通常經過加密），由用戶端的瀏覽器依照需要存取。

**一、工作原理**

? 1. 當用戶訪問一個網站時，服務器可以通過 HTTP 響應頭將 Cookie 信息發送給瀏覽器。
? 2. 瀏覽器會將這些 Cookie 信息存儲在本地。當用戶再次訪問該網站時，瀏覽器會通過 HTTP 請求頭自動將這些 Cookie 發送給服務器。
? 3. 例如，用戶登錄一個網站，服務器驗證用戶身份后，會在響應頭中設置一個 Cookie，其中可能包含用戶的身份標識等信息。當用戶后續訪問該網站的其他頁面時，瀏覽器會將這個 Cookie 發送給服務器，服務器通過識別這個 Cookie 來知道這個用戶已經登錄過，從而為用戶提供一個無縫的、個性化的訪問體驗。

**二、作用**

? 1. **會話管理**
? ? ?* 在 Web 應用中，Cookie 是用于會話狀態管理的常用方式。它可以幫助服務器記住用戶的登錄狀態。例如，當用戶登錄一個電商網站后，網站會在用戶的瀏覽器中設置一個包含會話信息的 Cookie。在用戶瀏覽網站的不同頁面時，這個 Cookie 會被發送到服務器，服務器通過驗證這個 Cookie 來確認用戶的身份，讓用戶可以持續地進行購物車操作、查看訂單等需要登錄狀態的功能而無需反復登錄。

? 2. **個性化體驗**
? ? ?* 網站可以根據 Cookie 中的信息為用戶提供更個性化的頁面內容。比如，一個新聞網站可以根據用戶之前瀏覽的新聞類別（這些類別信息可能存儲在 Cookie 中）來推薦類似的新聞。如果一個用戶經常瀏覽體育新聞，網站就可以為該用戶優先顯示體育相關的新聞內容。

? 3. **網站分析**
? ? ?* Cookie 可以用于網站流量分析。網站可以通過 Cookie 來跟蹤用戶的訪問來源、訪問頻率、在網站上的停留時間等信息。這些信息可以幫助網站管理員了解用戶的行為習慣，從而優化網站的內容和布局。例如，通過分析 Cookie 數據，網站可以發現用戶在某些頁面上停留時間較長，這可能表明這些頁面內容比較吸引用戶，或者存在加載速度慢等問題。

**三、限制和隱私問題**

? 1. **限制**
? ? ?* 瀏覽器對 Cookie 的數量和大小有一定的限制。一般來說，每個域名下的 Cookie 總大小有限制，通常在 4KB 左右，并且每個網站可以存儲的 Cookie 數量也有上限，例如一般不允許超過 20 - 50 個 Cookie。這是為了防止 Cookie 占用過多的存儲空間以及避免影響瀏覽器的性能。

? 2. **隱私問題**
? ? ?* Cookie 可能會引發隱私擔憂。因為 Cookie 可以存儲用戶的個人信息，并且在不同網站之間可能會有第三方 Cookie 的跟蹤。例如，一些廣告公司通過在不同網站上設置第三方 Cookie 來跟蹤用戶在多個網站上的行為，以便為用戶推送更有針對性的廣告。不過，現在瀏覽器提供了很多隱私設置選項，用戶可以選擇禁止第三方 Cookie 或者定期清除 Cookie 來保護自己的隱私。