python爬蟲爬取網站圖片出現403解決方法【僅供學習使用】

基于CSDN第一篇文章,Python爬蟲之入門保姆級教程,學不會我去你家刷廁所。
這篇文章是2021年作者發表的,由于此教程,網站添加了反爬機制,有作者通過添加cookie信息來達到原來的效果,Python爬蟲添加Cookies以繞過反爬【僅供學習使用】
感謝兩位前輩的教程,根據此教程訪問時,會出現403的返回錯誤,證明訪問被拒絕了。
此時需要多按幾次ctrl+r刷新頁面,拿到最新的cookie,因為網站畢竟只能做一次真人驗證,拿到最新cookie復制到代碼的cookie信息即可,這個上面的作者有說,但替換過后還是會出現403,那是因為請求頭也要跟著換。
在這里插入圖片描述
前三個屬性,通過f12的頁面找到對應屬性,進行替換即可正常下載。
在這里插入圖片描述
在這里插入圖片描述

在這里插入圖片描述
整體代碼如下:

import requests
from bs4 import BeautifulSoup
import osprint('開始下載圖片...')
# 使用你獲取的 cookies
cookies = {'cf_clearance': 'AFmxyWsV7S.3peEwHAjLLVOdlXPNG9VXNiRM9TncRuk-1746581876-1.2.1.1-LUrY7b1hPgXsMiBd.CFTHQcrZVpueVxlBZ9R4KZnrQBPaZMfVk2fcGxA1of0Xlf7co8.SRN01FcM6rpnzTQIrlpaQS9pb8UEHUkYcgHKL9bCzcjxHty7hN86QQ7FN793puWejoeIoaCAzDTTcPe7_U.nyTXgg1p6beI9QoF8EiNAuO.1sppd2gj0LG2ExwLq0ECF3CDVWEzWsdDfExb2olVVotUdfEcLCd6mguxoNU_wcd3Y6.AGBE6fIN79OyMHvIaT4NPhi6XLT9XBrVSgVmEBgYFJnGgvWhotpujOYjsW8cdTCHIzLLQr7VPvQ0b49NVD01ohQs4tmlkKyQuhyykww08taQ7FrDnIHMbLM4LBFhjxvK5I4Dd3BJmr7KHa'# 更多 cookie...
}# 設置請求頭
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.5845.97 Safari/537.36 Core/1.116.489.400 QQBrowser/13.7.6351.400','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language': 'zh-CN,zh;q=0.9','Connection': 'keep-alive','Upgrade-Insecure-Requests': '1'
}# 發送請求
base_url = 'https://pic.netbian.com/'
response = requests.get(base_url, headers=headers, cookies=cookies)# 檢查響應
if response.status_code == 200:# 解析網頁soup = BeautifulSoup(response.text, 'html.parser')images = soup.find_all('img')  # 尋找所有 img 標簽os.makedirs('downloaded_images', exist_ok=True)for img in images:# 檢查 img 標簽中是否包含 src 和 alt 屬性image_path = img.get('src')title = img.get('alt')# 如果 img 標簽沒有 src,就跳過if image_path and title:full_url = base_url + image_pathtry:response = requests.get(full_url, headers=headers, cookies=cookies)response.raise_for_status()  # 檢查請求是否成功# 獲取文件名并保存圖片file_name = os.path.join('downloaded_images', os.path.basename(image_path))with open(file_name, 'wb') as file:file.write(response.content)print(f'成功下載: {file_name} - 標題: {title}')except requests.exceptions.RequestException as e:print(f'下載失敗: {full_url} - 錯誤: {e}')else:print(f'跳過 img 標簽,src 或 alt 屬性缺失')
else:print("請求失敗,狀態碼:", response.status_code)

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/78923.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/78923.shtml
英文地址,請注明出處:http://en.pswp.cn/web/78923.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

docker創建一個centOS容器安裝軟件(以寶塔為例)的詳細步驟

備忘:后續偶爾忘記了docker虛擬機與宿主機的端口映射關系,來這里查看即可: docker run -d \ --name baota \ --privilegedtrue \ -p 8888:8888 \ -p 8880:80 \ -p 8443:443 \ -p 8820:20 \ -p 8821:21 \ -v /home/www:/www/wwwroot \ centos…

linux 使用nginx部署ssl證書,將http升級為https

前言 本文基于:操作系統 CentOS Stream 8 使用工具:Xshell 8、Xftp 8 服務器基礎環境: nginx - 請查看 linux 使用nginx部署vue、react項目 所需服務器基礎環境,請根據提示進行下載、安裝。 1.下載證書 以騰訊云為例&#x…

日常開發中,iOS 性能調優我們怎么做?

日常開發中,iOS 性能調優我們怎么做?聊聊我用過的幾款工具 最近在給一個 iOS 視頻類 App 做性能優化,過程中踩了不少坑,也用了一些不錯的工具,今天就以一個開發者視角隨便聊聊我在調試過程中的一些經驗。 一、性能問…

Redis ⑨-Jedis | Spring Redis

Jedis 通過 Jedis 可以連接 Redis 服務器。 通過 Maven 引入 Jedis 依賴。 <!-- https://mvnrepository.com/artifact/redis.clients/jedis --> <dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><versi…

【人工智能】解鎖AI潛能:LM Studio多模型并行運行DeepSeek與開源大模型的實踐指南

《Python OpenCV從菜鳥到高手》帶你進入圖像處理與計算機視覺的大門! 解鎖Python編程的無限可能:《奇妙的Python》帶你漫游代碼世界 隨著大語言模型(LLM)的快速發展,LM Studio作為一款本地化部署工具,以其簡單易用的圖形化界面和強大的模型管理能力受到廣泛關注。本文深…

Node.js面試題

一、什么是Node.js&#xff1f; Node.js 是一個開源的跨平臺 JavaScript 運行時環境&#xff0c;允許開發者在服務器端運行 JavaScript 代碼。它基于 Chrome 的 V8 JavaScript 引擎構建&#xff0c;能夠高效地處理 I/O 操作&#xff0c;適合構建高性能的網絡應用。 異步非阻塞&…

Playwright MCP 入門實戰:自動化測試與 Copilot 集成指南

什么是 MCP&#xff1f; MCP&#xff08;Model Context Protocol&#xff09; 是一種為大語言模型&#xff08;LLM&#xff09;設計的協議&#xff0c;MCP充當 LLM 與實際應用之間的橋梁或“翻譯器”&#xff0c;將自然語言轉化為結構化指令&#xff0c;使得模型可以更精確、高…

達夢DM數據庫安裝步驟

文章目錄 1、下載并解壓縮2、安裝DM數據庫2.1 運行安裝程序2.2 選擇語言與時區2.3 安裝向導2.4 許可證協議2.5 Key文件2.6 選擇組件2.7 安裝位置2.8 安裝前小結2.9 安裝過程2.10 已完成2.11 初始化 3、配置實例3.1選擇操作方式3.2創建數據庫模版3.3指定數據庫目錄3.4數據庫標識…

電商雙11美妝數據分析(2)

接下來用seaborn包給出每個店鋪各個大類以及各個小類的銷量銷售額 關于性別 接下來考慮性別因素&#xff0c;了解各類產品在男性消費者中的銷量占比 男士的銷量基本來自于清潔類&#xff0c;其次是補水類。而這兩類正是總銷量中占比最高的兩類。 非男士專用中&#xff0c;補水…

54.實現Trie(前綴樹)

Trie(發音類似 "try")或者說 前綴樹 是一種樹形數據結構&#xff0c;用于高效地存儲和檢索字符串數據集中的鍵。這一數據結構有相當多的應用情景&#xff0c;例如自動補全和拼寫檢查。 請你實現 Trie 類&#xff1a; Trie() 初始化前綴樹對象。void insert(String wo…

Excel文件批量處理指南 | 用VBA一鍵操作文件夾所有工作簿

系列文章 Excel跨文件夾批處理黑科技 | 用VBA遞歸遍歷所有子目錄 目錄 系列文章&#x1f4c1; Excel文件批量處理指南 | 用VBA一鍵操作文件夾所有工作簿一、場景痛點與解決方案二、核心代碼架構解析1. 文件遍歷引擎2. 安全打開機制3. 錯誤處理框架 三、7大實戰應用場景場景1&a…

南京大學OpenHarmony技術俱樂部正式揭牌 倉頡編程語言引領生態創新

2025年4月24日&#xff0c;由OpenAtom OpenHarmony&#xff08;以下簡稱“OpenHarmony”&#xff09;項目群技術指導委員會與南京大學軟件學院共同舉辦的“南京大學OpenHarmony技術俱樂部成立大會暨基礎軟件與生態應用論壇”在南京大學仙林校區召開。 大會聚焦國產自主編程語言…

C++回調函數學習

C回調函數學習 遇到問題&#xff0c;要學習C回調函數 遇到問題&#xff0c;要學習C回調函數 來吧&#xff0c;直接看代碼吧 共有4種方法&#xff0c;每種方法都有標識&#xff0c;對用的屏蔽和打開就可以使用 原文在這里&#xff1a; #include<iostream> #include<f…

PDF解析新范式:Free2AI工具實測

在數字化浪潮中,PDF文件已成為企業、政府及個人存儲與傳遞信息的核心載體。然而,PDF內容的提取與處理始終是行業痛點——無論是合同解析、研究報告整理,還是大規模知識庫構建,傳統方法常面臨效率低、成本高、準確率不足等問題。Free2AI基于智能體技術與大模型算力,為PDF內…

【JS逆向基礎】WEB自動化

前言&#xff1a;隨著互聯網的發展&#xff0c;前端技術也在不斷變化&#xff0c;數據的加載方式也不再是單純的服務端渲染了。現在你可以看到很多網站的數據可能都是通過接口的形式傳輸的&#xff0c;或者即使不是接口那也是一些 JSON 的數據&#xff0c;然后經過 JavaScript …

大型旋轉機械信號趨勢分析算法模塊

大型旋轉機械信號趨勢分析算法模塊&#xff0c;作為信號處理算法工具箱的主要功能模塊&#xff0c;可應用于各類關鍵機械部件&#xff08;軸承、齒輪、轉子等&#xff09;的信號分析、故障探測、趨勢劣化評估等&#xff0c;采用全Python語言&#xff0c;以B/S模式&#xff0c;通…

01背包專題4:小A點菜

題目背景 uim 神犇拿到了 uoi 的 ra&#xff08;鐳牌&#xff09;后&#xff0c;立刻拉著基友小 A 到了一家……餐館&#xff0c;很低端的那種。 uim 指著墻上的價目表&#xff08;太低級了沒有菜單&#xff09;&#xff0c;說&#xff1a;“隨便點”。 題目描述 不過 uim …

探索SQLMesh中的Jinja宏:提升SQL查詢的靈活性與復用性

在數據工程和數據分析領域&#xff0c;SQL是不可或缺的工具。隨著項目復雜度的增加&#xff0c;如何高效地管理和復用SQL代碼成為了一個重要課題。SQLMesh作為一款強大的工具&#xff0c;不僅支持標準的SQL語法&#xff0c;還引入了Jinja模板引擎的宏功能&#xff0c;極大地提升…

MySQL的深度分頁如何優化?

大家好&#xff0c;我是鋒哥。今天分享關于【MySQL的深度分頁如何優化?】面試題。希望對大家有幫助&#xff1b; MySQL的深度分頁如何優化? 1000道 互聯網大廠Java工程師 精選面試題-Java資源分享網 MySQL的深度分頁在處理大數據量時可能會導致性能瓶頸&#xff0c;特別是在…

SpringBoot3集成Mybatis

文章目錄 基礎使用代碼1. 創建Spring Boot 3項目并添加依賴2. 配置數據庫連接3. 創建實體類4. 創建Mapper接口5. 創建Service層6. 創建Controller層7. 主應用類 踩坑記錄1. 依賴版本不兼容2. Mapper接口掃描問題3. 數據庫連接問題4. Java版本問題 心得體會 基礎使用代碼 1. 創…