爬蟲技術-獲取瀏覽器身份認證信息(如 Cookie、Token、Session 等)

方法一:通過瀏覽器開發者工具查看和提取 Cookie / Token

📌 示例場景:

你在使用一個網站時已經登錄了,想看看這個網站是如何保存你的身份憑證的。

🔧 操作過程:

  1. 打開瀏覽器(例如 Chrome),按 F12 或右鍵頁面選擇“檢查”打開開發者工具。
  2. 切換到 Application 標簽頁。
  3. 在左側菜單中找到:
    • Cookies 下查看域名下的所有 Cookie。
    • Local StorageSession Storage 查看存儲的 Token。
  4. 復制你關心的身份憑證字段,比如 token, sessionid, Authorization 等。

🧠 原理說明:

瀏覽器在執行網頁腳本時會將用戶身份信息存儲在 Cookie、LocalStorage 或 SessionStorage 中。開發者工具可以讓你直接訪問這些數據。

? 優點:

  • 簡單直觀,適合調試。
  • 不需要編程基礎即可操作。

? 缺點:

  • 無法自動化獲取。
  • 無法實時監聽接口請求頭中的身份信息。
  • 只能手動復制粘貼,不適合批量或程序調用。

方法二:通過瀏覽器插件自動監聽網絡請求并提取身份信息

📌 示例場景:

你想監控某個網站每次請求都帶了什么身份憑證,以便分析其認證機制。

🔧 操作過程:

  1. 安裝瀏覽器插件,比如:
    • Chrome DevTools
    • Tampermonkey(自定義腳本)
    • RequestlyModHeader(修改/監聽請求)
  2. 使用插件功能監聽特定 URL 的請求。
  3. 插件可以在請求發出前或響應返回后,記錄下請求頭中的身份信息字段(如 Authorization, X-Token 等)。

🧠 原理說明:

瀏覽器插件擁有對網頁請求的攔截權限,可以讀取或修改 HTTP 請求頭和響應內容。

? 優點:

  • 可監聽任意請求頭中的身份信息。
  • 支持自動化記錄和導出。
  • 適用于逆向工程、接口調試等場景。

? 缺點:

  • 需要一定的插件配置能力。
  • 有些網站會檢測插件行為并阻止。
  • 對非標準字段可能需要手動解析。

方法三:通過 Selenium 自動化模擬登錄并獲取身份信息

📌 示例場景:

你正在寫一個爬蟲程序,需要模擬登錄某網站,并獲取其身份認證信息用于后續請求。

🔧 操作過程:

  1. 使用 Python + Selenium 啟動瀏覽器。
  2. 自動填寫用戶名密碼進行登錄。
  3. 登錄成功后,通過 API 獲取 Cookie 或執行 JS 腳本讀取 LocalStorage。
  4. 將身份信息保存下來,供后續請求使用。

🧠 原理說明:

Selenium 是一個自動化測試工具,它可以控制瀏覽器完成點擊、輸入等操作,并讀取頁面上下文中的 Cookie 和本地存儲。

? 優點:

  • 可以完整模擬用戶行為。
  • 適合做自動化任務(如爬蟲、測試)。
  • 可獲取 Cookie、LocalStorage 等多種憑證。

? 缺點:

  • 啟動瀏覽器較慢,資源占用高。
  • 如果網站有反爬機制(如驗證碼),處理成本較高。
  • 不能直接讀取請求頭中的身份信息。

方法四:通過 Chrome 瀏覽器遠程調試模式復用已登錄狀態

📌 示例場景:

你已經在瀏覽器里登錄了一個網站,不想再重新登錄一次,想直接復用這個瀏覽器會話。

🔧 操作過程:

  1. 手動啟動 Chrome 并啟用遠程調試端口(如 --remote-debugging-port=9222)。
  2. 使用 Selenium 連接該瀏覽器實例。
  3. 直接讀取當前頁面的 Cookie 或執行 JS 獲取 Token。

🧠 原理說明:

Chrome 提供了遠程調試接口,允許外部程序連接并控制瀏覽器。通過這種方式,你可以復用已有登錄狀態,避免重復登錄。

? 優點:

  • 不需要再次登錄。
  • 可以快速獲取身份信息。
  • 適合調試或開發階段使用。

? 缺點:

  • 需要手動啟動瀏覽器并指定參數。
  • 多人共用環境時容易沖突。
  • 不適合部署在服務器上運行。

方法五:通過瀏覽器插件注入腳本捕獲身份信息

📌 示例場景:

你想在每次訪問目標網站時自動記錄下它的身份信息,比如每次發送請求時的 Authorization

🔧 操作過程:

  1. 安裝 Tampermonkey 插件。
  2. 新建一個用戶腳本,使用 XMLHttpRequestfetch 攔截器。
  3. 每次請求發出時,讀取請求頭,判斷是否有身份憑證字段。
  4. 可將結果輸出到控制臺或發送到自己的服務器。

🧠 原理說明:

用戶腳本可以在網頁加載時注入代碼,從而攔截并分析所有的網絡請求,獲取其中的身份信息。

? 優點:

  • 可以實時監聽所有請求的身份信息。
  • 無需登錄,只需訪問頁面即可。
  • 適合研究接口認證機制。

? 缺點:

  • 需要編寫腳本,有一定門檻。
  • 一些網站會檢測腳本注入并屏蔽。
  • 對 HTTPS 請求可能會有安全限制。

總結對比表

方法是否可獲取 Cookie是否可獲取 LocalStorage是否可獲取請求頭是否支持自動化是否需編程
開發者工具手動查看?????
瀏覽器插件監聽請求????(部分)?
Selenium 模擬登錄?????
Chrome 調試模式?????
用戶腳本攔截請求?????

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/913100.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/913100.shtml
英文地址,請注明出處:http://en.pswp.cn/news/913100.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

[密碼學實戰]GMT 0136-2024《密碼應用HTTP接口規范》解析

[密碼學實戰]GM/T 0136-2024《密碼應用HTTP接口規范》解析國家密碼管理局于2025年7月1日正式實施GM/T 0136-2024標準,該規范首次統一了密碼服務的HTTP接口設計,為國產密碼技術的規模化應用鋪平道路。本文結合標準原文,深入剖析其技術細節并給…

Docker 國內鏡像列表(免費長期)

Docker 可用鏡像源列表(7月1日更新-長期維護)_dockerhub國內鏡像源列表-CSDN博客

BlenderFBXExporter 導出fbx被修改問題

1) 解決增加A節點的問題 https://github.com/A-Ribeiro/CustomBlenderFBXExporter 2)找出blendshape 不一致,生成blendshape key name映射map 文件compare.txt C:\Users\49938\Documents\DazToUnreal\zhang01\UpdatedFBX\zhang01_fix7.fbx…

AI時代下的IT服務管理轉型:趨勢、挑戰與破局之道

近年來,人工智能(AI)與自動化技術的迅猛發展,正以前所未有的速度重塑企業運營的各個層面。特別是在IT服務管理(ITSM)領域,AI的介入不僅提高了問題響應效率,也推動了組織從“被動響應…

三體融合實戰:Django+訊飛星火+Colossal-AI的企業級AI系統架構

目錄 技術棧關鍵詞:Django 5.0 訊飛星火4.0Ultra Colossal-AI 1.2 WebSocket 聯邦學習 ? 核心架構設計 🛠? 一、Django深度集成訊飛星火API(免費版) 1. 獲取API憑證 2. 流式通信改造(解決高并發阻塞&#xff09…

多模態數據融合預警:從IoT傳感器到衛星監測的可視化方案升級

你有沒有想過,為什么有些城市在暴雨來臨時能提前數小時發布內澇預警,而有些地方卻只能“等水來了才反應”? 背后的關鍵,就是多模態數據融合預警系統——它把來自IoT傳感器、無人機、地面雷達、氣象站、甚至衛星的數據整合在一起&a…

面試八股---css

2、css 2.1 說說你對盒子模型的理解 是什么 當對一個文檔進行布局(layout)的時候,瀏覽器的渲染引擎會根據標準之一的 CSS 基礎框盒模型(CSS basic box model),將所有元素表示為一個個矩形的盒子&#xf…

day52-硬件學習之RTC及ADC

一、RTCRTC(實時時鐘):非易失性在IMX6ULL內部SNVS(安全的非易失性存儲器)提供RTC功能;原理圖:二、ADC 2.1 基本概念ADC(模擬數字轉換器):用于將連續變化的模擬信號轉換為離散的數字信…

Web 項目如何自動化測試?

Web 項目的自動化測試可以通過 UI自動化 和 接口自動化 結合實現,提高測試效率和覆蓋率。以下是關鍵方法和工具: 【自動化測試】從基礎到實戰基于Pytest自動化/python自動化的詳細教程!1. UI自動化測試(前端交互) 適用…

Java連接阿里云MaxCompute例

要使用Java連接阿里云MaxCompute(原名ODPS)數據庫,您可以遵循以下步驟進行配置和編程: 1. 添加依賴 確保您的項目中包含了MaxCompute JDBC驅動的依賴。如果您使用Maven,可以在pom.xml中添加如下依賴: &l…

【網絡與系統安全】強制訪問控制——BLP模型

一、模型背景與定義 BLP(Bell-LaPadula)模型是由David Bell和Len Adula在1973年提出的強制訪問控制(MAC)模型,是最早的計算機安全模型之一,主要用于解決多用戶系統中的信息機密性保護問題,尤其…

HTTPS詳解:原理 + 加解密過程 + 面試問答

一、HTTP 與 HTTPS 的區別 項目HTTPHTTPS全稱HyperText Transfer ProtocolHyperText Transfer Protocol Secure端口80443協議層應用層應用層 TLS(安全層)加密方式明文傳輸加密傳輸(TLS)安全性易被劫持、中間人攻擊可加密、防篡改…

Python-GUI-wxPython-控件

1 需求 2 接口 3.* 控件:wx.StaticText import wxclass MainFrame(wx.Frame):def __init__(self, *args, **kwargs):super(MainFrame, self).__init__(*args, **kwargs)self.init_ui()self.Center()self.Maximize()def init_ui(self):static_text wx.StaticText(pa…

3-1 PID算法改進(積分部分)

目錄 1、積分限幅 2、積分分離 3、變速積分 在位置式PID的基礎上進行改進 定速用PI控制,定位置用PD控制 1、積分限幅 在定速控制上體現 第一種方法確定上下限方法:Out最大時,除以Ki,得到一個值,上限不能超過這個…

Linux探秘坊-------13.進程間通信

1.進程間通信?的 2.管道 2.1 匿名管道 -----通常用來實現 父子通信 創建子進程時,需要把父進程的進程內容全部拷貝一份,但文件管理是不需要拷貝的 但是我們把父進程的文件描述符表給拷貝下來了,文件描述符表里是一堆指針,他們仍…

深入理解Vapnik-Chervonenkis(VC)維度:機器學習泛化能力的理論基礎

引言 通過本篇閱讀,從理論上去理解為什么: 要選擇復雜度低的模型 過擬合的時候,增加樣本量有用 以及如何根據樣本量選擇特征個數 PAC機器學習框架, VC 維是機器學習最重要的基礎理論之一 在機器學習領域,模型泛化能力是衡量算法性能的核心指標…

redis持久化-純緩存模式

redis持久化-純緩存模式 文檔 redis單機安裝redis常用的五種數據類型redis數據類型-位圖bitmapredis數據類型-基數統計HyperLogLogredis數據類型-地理空間GEOredis數據類型-流Streamredis數據類型-位域bitfieldredis持久化-RDBredis持久化-AOFredis持久化-RDBAOF混合模式 官…

HTML DOM 訪問

HTML DOM 訪問 引言 HTML DOM(文檔對象模型)是現代Web開發中不可或缺的一部分。它允許開發者通過JavaScript操作HTML文檔中的元素,從而實現豐富的交互效果。本文將詳細介紹HTML DOM的訪問方法,包括如何獲取元素、如何修改元素屬…

雙系統如何做接口認證-V1

現有A系統,B系統,A系統啟動的時候調用B系統的注冊接口API1(把A系統配置信息注冊到B系統),A系統定時向B系統接口AP2發送心跳信息,B系統根據業務情況,調用A系統的業務接口AP3,請設計兩…

Wireshark TS | 詭異的光貓網絡問題

前言 來自于朋友分享的一個案例,最后定位的原因是光貓問題,而類似這類的設備所產生的網絡問題,也曾碰到過兩三次,但這一次的數據包現象挺特別,分析思路和過程也有所不同,故記錄分享一下。 問題背景 用戶所反…