參考鏈接： Python中從用戶獲取多個輸入

Python新手寫出漂亮的爬蟲代碼1?

初到大數據學習圈子的同學可能對爬蟲都有所耳聞，會覺得是一個高大上的東西，仿佛九陽神功和乾坤大挪移一樣，和別人說“老子會爬蟲”，就感覺特別有逼格，但是又不知從何入手，這里，博主給大家糾正一個誤區：爬蟲并不神秘，也不高級，是一個非常好上手和掌握的東西（當然，里面也有很多坑，也有很多細節，展開說的話其實也蠻復雜的，不過它的模式和套路就擺在那里，看了小編的博客，保證你能爬下你想要的內容）。?

一般情況下，爬蟲分為兩種，一種是靜態爬蟲，一種是動態爬蟲，所謂靜態爬蟲，就是大部分信息（至少你所需要的那些信息）是寫在html代碼中的，而動態爬蟲一般都是寫在一個json文檔中，這么說可能不太標準，不過初學者這樣理解即可，這篇博客將會帶大家領略靜態爬蟲，下一篇將會講解動態爬蟲。?

補充一句，博主曾是忠實的Python2用戶，不過現在也改到Python3了，曾經新的庫會在Python2中首先兼容，然后要過好久才在Python3中集成，現在完全不用擔心，Python2有了，Python3不日就會集成，Python3也會在編碼方面提供更多遍歷，推薦新手直接從Python3入手，當然，二者沒有什么太大區別，遇到問題問問度娘就可以了了，廢話不多說，我們開始爬蟲的第一課！?

本篇博文將從以下幾個方面進行講解? - 啥是Html代碼？? - 怎么從Html代碼中定位到我要的東西？? - BeautifulSoup神器? - 案例：愛卡汽車?

?

啥是Html代碼?

所謂的html代碼，瀏覽博客的你右手一定在鼠標上，好的，跟著我左手右手一個慢動作，點擊右鍵，找到“查看網頁源代碼”，不同瀏覽器可能這個描述不太一樣，博主是Chrome，不過都差不太多，是不是有看到類似下面這個圖的一堆不知道是什么鬼的代碼？?

?

其實，你可以按鍵盤上的F12或者右鍵選擇“檢查元素”（不同瀏覽器不同），這時，瀏覽器的右側（如果你是360瀏覽器，可能是在下方）彈出一個東東，類似下面紅色框中的區域? ?

這個東西就是剛才我們看的那個不知道是什么鬼的東西的樹狀結構，看上去會整齊一些。這就是html代碼，html代碼其實就是用許多個"<Y yy='aaa'>xxxx</Y>"是的結構將想要輸出在頁面上的內容包含起來的一種語言。下一個小節將詳細介紹這個結構，總而言之，我們肉眼所看到的東西大部分都來自于html代碼，html代碼的作用簡單來說就是程序員用一堆html代碼，將需要展示的信息放在指定的位置上的一種東西，有了html代碼，才有了你眼前頁面上的很多元素；當然，還有其他方式來將元素展示在頁面上，如css、js等渲染方式，這些我們下一篇會介紹。?

知道我們所需要的信息位于html中，那么只需要找到我們需要的具體內容在哪里，然后下載下來，就大功告成了，邏輯就是這么個邏輯，所以靜態爬蟲的關鍵問題是要準確的解析html代碼，一般使用BeautifulSoup這個庫或者正則表達式。?

怎么從Html代碼中定位到我要的東西?

標簽?

上一節中提到，html代碼中都是"<Y yy='aaa'>xxxx</Y>"結構，一對”<>”我們稱之為標簽，這對標簽中通常會有一些內容，可能是一個數字，一段字符串，一個網頁鏈接，或者一個圖片鏈接等等，總之，就是我們在網頁上看到的內容。”Y”稱之為標簽名，”yy”為其屬性名，”aaa”是其屬性值，”xxxx”是這個標簽的內容，也就是對應于頁面上的信息。一般情況下我們要獲取的就是”xxxx”，有時我們可能也需要獲取標簽的屬性值”aaa”。標簽可能是唯一的，也可能是有重復的，回看剛才那張樹狀的標簽結構，有一種分明的層次感，同一層的標簽我們稱他們互為兄弟標簽，而一個標簽和包含他的標簽互為父子標簽，如果a包含b，b包含c，d，則c是a的后代標簽，是b的子標簽，是d的兄弟標簽，這個名字無所謂的，了解一下就好，一般標簽名可能會重復，但標簽屬性名（yy）和屬性值“aaa”很少重復，不過兄弟標簽之間可能會出現標簽名、屬性名、屬性值完全相同的情況，后面會介紹（就是find方法和findAll方法的區別）。?

好，上實例，打開一個網址把：http://newcar.xcar.com.cn/257/review/0.htm，是愛卡汽車中比亞迪F3的口碑頁面，鼠標右鍵選擇“檢查元素”或者之間按鍵盤上的F12，選擇那個鼠標的按鈕（紅色框1），然后將鼠標放到評論框附近（紅色框2），如下圖所示，看到檢查元素界面中有一段代碼背景色變成了深色（如紅色框3）?

?

每個頁面有10條口碑，可見這10條口碑均存儲在屬性名為’class’,屬性值為’review_comments_dl’的’div’標簽中，當然，這個標簽不是一個“葉節點”，也就是說這個標簽內部還有其他標簽，我們進一步看看。看下面的圖片。?

?

我們可以看到紅框3中有很多相同的標簽<dl>...</dl>,他們都是屬性名為’class’,屬性值為’review_comments_dl’的’div’標簽的子標簽，他們之間互為兄弟標簽，我們把鼠標放在紅框3的位置并選中，這時左側網頁的第一條口碑的位置就會變成深色背景，也就是說，紅框3這個標簽實際上對應著紅框2這個區域中的內容，那么我們把紅框3再具體的看一看。如下圖所示。?

?

可以看到，第一條口碑（紅框中的內容）在第一個’dl’標簽中（紅色下劃線2），同理可以看到第二條口碑在第二個’dl’標簽中。再來看看這個’dl’標簽，他有兩個子標簽，’dt’和’dd’子標簽，口碑數據位于dd子標簽下；好的，再來看’dd’標簽，將’dd’標簽展開，如下圖所示。?

?

紅框3是該車的第一頁的第一條口碑，位于dd標簽中，及圖中藍色下劃線<dd>...</dd> 中的內容，圖中從開頭的dd指向紅框3，標注了“同級”，意思是紅框3的內容是dd標簽的內容，而dd標簽下還有子標簽，比如屬性為class，屬性值為useful的div標簽，里面的內容1034是有多少人覺得這個口碑有用；還有一個子標簽p，p標簽的內容是口碑的作者；p中有一個子標簽a，a標簽的內容是評論來源，如圖中的“比亞迪F3論壇”。?

好了，現在想必讀者已經對通過標簽定位信息有所了解了，我們再來練習一下，我們將口碑頁切換到第2頁，可以看到地址變成了http://newcar.xcar.com.cn/257/review/0/0_2.htm，多了一個’0_2’。將’0_2’改成’0_1’就跳回了第一頁（實際上第一頁的真實url是http://newcar.xcar.com.cn/257/review/0/0_1.htm），而改成’0_3’就到了第三頁。那么我們應該怎么獲取該車型的口碑一共有幾頁呢？看下面的圖。?

?

依然是在開發者工具視角（及按F12彈出的窗口這個視角），將鼠標放在尾頁（這里是122）或者‘下一頁’上，右側的框中會出現如圖所示的畫面，可以看到尾頁122所在的位于屬性為class，屬性值為’pagers’的div標簽的倒數第二個子標簽中，如紅框1所示；而’下一頁’則位于屬性為class，屬性值為’pagers’的div標簽的最后一個子標簽中，如紅框2所示。在仔細貫徹一下會發現屬性為class，屬性值為’pagers’的div標簽與我們之前尋找口碑的標簽dl是兄弟標簽，位于全部的dl標簽的再后面一個，也就是說，該標簽的父標簽與dl標簽相同，即屬性名為’class’,屬性值為’review_comments_dl’的’div’標簽。?

為什么要確定尾頁呢？因為構造代碼時，我們要知道代碼的起止位置，使用for循環良好的控制代碼的開始與完結。?

這個爬蟲的邏輯是這樣的：找到目標的車型，即其url，實際上，不同車型的url只有id不同，比如比亞迪F3的url是http://newcar.xcar.com.cn/257/，其車子id是257，當id更改為258時，車型就變成了比亞迪F0；然后查看html代碼，明確要爬取的內容的所在位置，明確換頁規律，明確爬蟲的起止位置（獲取尾頁信息的html位置），然后構造代碼。?

BeautifulSoup神器?

Python一個第三方庫bs4中有一個BeautifulSoup庫，是用于解析html代碼的，換句話說就是可以幫助你更方便的通過標簽定位你需要的信息。這里只介紹兩個比較關鍵的方法：?

1、find方法和findAll方法：? 首先，BeautifulSoup會先將整個html或者你所指定的html代碼編程一個BeautifulSoup對象的實例（不懂對象和實例不要緊，你只要把它當作是一套你使用F12看到的樹形html代碼代碼就好），這個實例可以使用很多方法，最常用的就是find和findAll，二者的功能是相同的，通過find( )的參數，即find( )括號中指定的標簽名，屬性名，屬性值去搜索對應的標簽，并獲取它，不過find只獲取搜索到的第一個標簽，而findAll將會獲取搜索到的所有符合條件的標簽，放入一個迭代器（實際上是將所有符合條件的標簽放入一個list），findAll常用于兄弟標簽的定位，如剛才定位口碑信息，口碑都在dl標簽下，而同一頁的10條口碑對應于10個dl標簽，這時候用find方法只能獲取第一個，而findAll會獲取全部的10個標簽，存入一個列表，想要獲取每個標簽的內容，只需對這個列表使用一個for循環遍歷一遍即可。?

2、get_text()方法：? 使用find獲取的內容不僅僅是我們需要的內容，而且包括標簽名、屬性名、屬性值等，比如使用find方法獲取"<Y yy='aaa'>xxxx</Y>" 的內容xxxx，使用find后，我們會得到整個"<Y yy='aaa'>xxxx</Y>"，十分冗長，實際我們想要的僅僅是這個標簽的內容xxxx，因此，對使用find方法后的對象再使用get_text( )方法，就可以得到標簽的內容了，對應到這里，我們通過get_text( )方法就可以得到xxxx了。?

好了，鋪墊做的差不多了，上代碼咯~~~?

案例：愛卡汽車?

使用Python3，需要提前安裝bs4庫，博主的環境是win7+Python3+Pycharm（有時候也用Ubuntu16.04+Python3+Pycharm），很多時候都有人問博主，什么ide好用呢？jupyter notebook？spyder？Pycharm？這里只能和大家說各個ide各有千秋，做工程（如爬蟲）使用pycharm肯定是首選，如果只是平時的練習，寫個小程序，使用jupyter notebook和spyder就不錯，總之，如果涉及到頻繁打印輸出結果的東西，最好還是用pycharm，不要用jupyter notebook，不然會很卡。?

言歸正傳，上代碼！?

兩點說明：爬蟲代碼中，html代碼經常會出現’class’這個屬性名，而class是python中“類”的關鍵字，而爬蟲的find方法對于屬性名而言，是不需要加引號的，如果直接輸入class是會出現問題的，所以需要注意，每次輸入class時應當輸入為class_，即class后加一個下劃線；?

第二就是下方代碼一開始有一個add_header的過程，為的是將代碼偽裝成瀏覽器。很多網站是反對爬蟲程序對其信息進行爬取的，所以會禁止一些程序訪問他們的網站，通過add_header將你的爬蟲程序偽裝成了瀏覽器，故在網站看來，訪問它的就不是一個程序，而是一個瀏覽器，或者說是一個人類用戶了。?

import urllib

import urllib.request

from bs4 import BeautifulSoup

import re

import random

import time

?

# 設置目標url，使用urllib.request.Request創建請求

url0 = "http://newcar.xcar.com.cn/257/review/0.htm"

req0 = urllib.request.Request(url0)

?

# 使用add_header設置請求頭，將代碼偽裝成瀏覽器

req0.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36")

?

# 使用urllib.request.urlopen打開頁面，使用read方法保存html代碼

html0 = urllib.request.urlopen(req0).read()

?

# 使用BeautifulSoup創建html代碼的BeautifulSoup實例，存為soup0

soup0 = BeautifulSoup(html0)

?

# 獲取尾頁（對照前一小節獲取尾頁的內容看你就明白了）

total_page = int(soup0.find("div",class_= "pagers").findAll("a")[-2].get_text())

myfile = open("aika_qc_gn_1_1_1.txt","a")

print("user","來源","認為有用人數","類型","評論時間","comment",sep="|",file=myfile)

for i in list(range(1,total_page+1)):

? ? # 設置隨機暫停時間

? ? stop = random.uniform(1, 3)

? ? url = "http://newcar.xcar.com.cn/257/review/0/0_" + str(i) + ".htm"

? ? req = urllib.request.Request(url)

? ? req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36")

? ? html = urllib.request.urlopen(req).read()

? ? soup = BeautifulSoup(html)

? ? contents = soup.find('div', class_="review_comments").findAll("dl")

? ? l = len(contents)

? ? for content in contents:

? ? ? ? tiaoshu = contents.index(content)

? ? ? ? try:

? ? ? ? ? ? ss = "正在爬取第%d頁的第%d的評論，網址為%s" % (i, tiaoshu + 1, url)

? ? ? ? ? ? print(ss)

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? comment_jiaodu = content.find("dt").find("em").find("a").get_text().strip().replace("\n","").replace("\t","").replace("\r","")

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? comment_jiaodu = ""

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? comment_type0 = content.find("dt").get_text().strip().replace("\n","").replace("\t","").replace("\r","")

? ? ? ? ? ? ? ? comment_type1 = comment_type0.split("【")[1]

? ? ? ? ? ? ? ? comment_type = comment_type1.split("】")[0]

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? comment_type = "好評"

? ? ? ? ? ? # 認為該條評價有用的人數

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? useful = int(content.find("dd").find("div",class_ = "useful").find("i").find("span").get_text().strip().replace("\n","").replace("\t","").replace("\r",""))

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? useful = ""

? ? ? ? ? ? # 評論來源

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? comment_region = content.find("dd").find("p").find("a").get_text().strip().replace("\n","").replace("\t","").replace("\r","")

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? comment_region = ""

? ? ? ? ? ? # 評論者名稱

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? user = content.find("dd").find("p").get_text().strip().replace("\n","").replace("\t","").replace("\r","").split("：")[-1]

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? user = ""

? ? ? ? ? ? # 評論內容

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? comment_url = content.find('dt').findAll('a')[-1]['href']

? ? ? ? ? ? ? ? urlc = comment_url

? ? ? ? ? ? ? ? reqc = urllib.request.Request(urlc)

? ? ? ? ? ? ? ? reqc.add_header("User-Agent",

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36")

? ? ? ? ? ? ? ? htmlc = urllib.request.urlopen(reqc).read()

? ? ? ? ? ? ? ? soupc = BeautifulSoup(htmlc)

? ? ? ? ? ? ? ? comment0 = \

? ? ? ? ? ? ? ? soupc.find('div', id='mainNew').find('div', class_='maintable').findAll('form')[1].find('table',class_='t_msg').findAll('tr')[1]

? ? ? ? ? ? ? ? try:

? ? ? ? ? ? ? ? ? ? comment = comment0.find('font').get_text().strip().replace("\n", "").replace("\t", "")

? ? ? ? ? ? ? ? except:

? ? ? ? ? ? ? ? ? ? comment = ""

? ? ? ? ? ? ? ? try:

? ? ? ? ? ? ? ? ? ? comment_time = soupc.find('div', id='mainNew').find('div', class_='maintable').findAll('form')[1].find('table', class_='t_msg').\

? ? ? ? ? ? ? ? ? ? find('div', style='padding-top: 4px;float:left').get_text().strip().replace("\n","").replace( "\t", "")[4:]

? ? ? ? ? ? ? ? except:

? ? ? ? ? ? ? ? ? ? comment_time = ""

? ? ? ? ? ? except:

? ? ? ? ? ? ? ? try:

? ? ? ? ? ? ? ? ? ? comment = content.find("dd").get_text().split("\n")[-1].split('\r')[-1].strip().replace("\n", "").replace("\t","").replace("\r", "").split("：")[-1]

? ? ? ? ? ? ? ? except:

? ? ? ? ? ? ? ? ? ? comment = ""

? ? ? ? ? ? # time.sleep(stop)

? ? ? ? ? ? print(user,comment_region,useful,comment_type,comment_time,comment, sep="|", file=myfile)

? ? ? ? except:

? ? ? ? ? ? s = "爬取第%d頁的第%d的評論失敗，網址為%s" % (i, tiaoshu + 1, url)

? ? ? ? ? ? print(s)

? ? ? ? ? ? pass

myfile.close()?

補充說明一下：try——except這個結構（看起來有點像if——else的結構）是一個非常重要的過程，為了使爬蟲代碼可以良好的運行，不至于剛開始爬幾分鐘就報錯這種惡心人的情況，需要很好的利用try——except過程。程序會先執行try下的語句，如果發生失敗，就會執行except下的語句，你也可以使用多個try——except嵌套的結構完成復雜的情況的覆蓋，最好要保證你的try——except過程包含了程序會遇到的所有情況，那么你的代碼就是趨于完美的。?

講到這里，第一節爬蟲課程也就到這里了，不久之后會介紹動態爬蟲，如果之后還有時間，還會介紹一下selenium這個模擬瀏覽的庫，以及爬蟲框架還有反爬蟲的知識，給自己打個廣告，除了爬蟲可，近期也會分享一些關于word2vec和fastText文本分類算法的內容，讀者有什么其他想交流的可以留言~我也是個正在學習路上的仔，希望能和各路朋友以及大牛交流。?

目錄?

?

?

??

? Python新手寫出漂亮的爬蟲代碼1

? ? 啥是Html代碼怎么從Html代碼中定位到我要的東西

? ? ? 標簽 BeautifulSoup神器案例愛卡汽車

? ? ? 目錄