本文同步發表于我的微信公眾號，掃一掃文章底部的二維碼或在微信搜索 極客導航 即可關注，每個工作日都有文章更新。

一、概況

接著上篇說，如果你真以為Requests網絡請求庫只有Get請求和Post請求，那就大錯特錯了。它還一些其他用法，也是爬蟲經常需要的，我們一起來看看吧。

二、使用

• Auth驗證

不知道小伙伴配置過剛買的路由器沒有，剛配置的要進入后臺一般都需要瀏覽器的Auth驗證，需要輸入用戶名和密碼，它的原理就是將用戶名:密碼base64加密后放在http的請求頭部，然后發送給后臺進行驗證。我們的Requests也必然支持這種操作，不過用的相對較少。

import requestsauth=('admin', 'admin')response = requests.get('http://192.168.1.1', auth = auth
)
print (response.text)
復制代碼

• 代理

使用http或https代理，可能是我們解決反爬比較重要的一個環節。代理是什么？看圖:

當我們的IP被封時，我們往往會采用代理。相當于我喜歡一個女孩，但是她把我拉入黑名單了，這個時候往往會找她的閨蜜進行操作，我要把對女孩說的話跟她閨蜜說，然后讓閨蜜轉交給她。閨蜜在把她對我說的話返回給我。如果這個閨蜜也被她拉入黑名單，我們在換一個她的閨蜜。理論上一般我們都會采用閨蜜池，也就是我們所說的IP代理池。需要錢呀！！！！

import requests# 根據協議類型，選擇不同的代理
proxies = {"http": "http://12.34.56.79:9527","https": "http://12.34.56.79:9527",
}response = requests.get("http://www.baidu.com", proxies = proxies
)
print(response.text)
復制代碼

私密代理:

import requests# 如果代理需要使用HTTP Basic Auth，可以使用下面這種格式：
proxy = { "http": "name:pwd@22.148.133.120:11163" 
}response = requests.get("http://www.baidu.com",proxies = proxy
)print (response.text)
復制代碼

目前市場有很多免費代理和付費代理。比如西次代理、快代理等~

• Cookies

使用python的requests開發爬蟲類程序時，經常需要將之前請求返回的set-cookie值，作為下一個請求的cookie發送。比如模擬登錄之后的返回的sessionId，就需要作為后續請求的cookie參數。

import requestsresponse = requests.get("http://www.baidu.com/")# 返回CookieJar對象:
cookiejar = response.cookies#打印cookiejar
print (cookiejar)#下一次訪問帶上 上一次的cookies
response = requests.get("http://www.baidu.com/", cookies=cookie_jar)#打印響應內容
print (response.text)
復制代碼

• Session

在 requests里，session是一個比較強大的對象，這個對象代表一次用戶會話：從客戶端瀏覽器連接服務器開始，到客戶端瀏覽器與服務器斷開， 會話能讓我們在跨請求時候保持某些參數。比如在同一個 Session 實例發出的所有請求之間保持 cookie 。

import requests# 創建session對象，可以保存Cookie值
session = requests.session()# 添加請求頭
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}# post參數
data = {"email":"xxxx","password":"xxxx"
}# 發送附帶用戶名和密碼的請求，并獲取登錄后的Cookie值，保存在session里
session.post("http://www.jikedaohang.com/login",data = data
)# session包含用戶登錄后的Cookie值，可以直接訪問那些登錄后才可以訪問的頁面。
# 比如個人中心頁面
response = session.get("http://www.jikedaohang.com/1562336754/profile"
)#  打印響應內容
print (response.text)
復制代碼

• 處理HTTPS請求(SSL證書驗證)

在想處理這塊知識點，我們需要了解一些東西：

• SSL：安全套接字層。是為了解決HTTP協議是明文，避免傳輸的數據被竊取，篡改，劫持等。
• TSL：Transport Layer Security，傳輸層安全協議。TSL其實是SSL標準化后的產物，即SSL／TSL
• HTTPS在傳輸數據時，會先建立TCP連接，建立起TCP連接后，會建立TSL連接。
• 請求可以為HTTPS請求驗證SSL證書，就像web瀏覽器一樣，SSL驗證默認是開啟的，

如果證書驗證失敗，請求會拋出SSLError:

SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)
復制代碼

遇到請求的SSL驗證，可以直接跳過不驗證，將verify=False設置一下即可。

import requests
response = requests.get("https://www.12306.cn/mormhweb/", verify = False)
print (response.text)
復制代碼

如果驗證，那么verify參數可以是傳入CA_BUNDLE文件的路徑或傳入包含可信任CA證書的文件夾路徑

import requests
response = requests.get("https://www.12306.cn/mormhweb/", verify = './certfile')
print (response.text)
復制代碼

結果： 1.HTTPS請求進行SSL驗證或忽略SSL驗證才能請求成功，忽略方式為verify=False。

2.SSL證書是由CA機構頒發的，是需要花錢的。

三、總結

requests網絡請求庫，暫時我們就寫到這里。下面我們會繼續學習解析庫的學習。

歡迎關注我的公眾號，我們一起學習。