目錄

• 前言
• Media Pipeline
• 啟用Media Pipeline
• 使用 ImgPipeline
• 抓取妹子圖
• 瞎比比與送書后話

前言

我們在抓取數據的過程中，除了要抓取文本數據之外，當然也會有抓取圖片的需求。那我們的 scrapy 能爬取圖片嗎？答案是，當然的。說來慚愧，我也是上個月才知道，在 zone7 粉絲群中，有群友問 scrapy 怎么爬取圖片數據？后來搜索了一下才知道。現在總結一下分享出來。

Media Pipeline

我們的 itempipeline 處理可以處理文字信息以外，還可以保存文件和圖片數據，分別是 FilesPipeline 和 ImagesPipeline

Files Pipeline

• 避免重新下載最近已經下載過的數據
• 指定存儲路徑

FilesPipeline的典型工作流程如下：

• 在一個爬蟲里，你抓取一個項目，把其中圖片的URL放入 file_urls 組內。
• 項目從爬蟲內返回，進入項目管道。
• 當項目進入 FilesPipeline，file_urls 組內的URLs將被Scrapy的調度器和下載器(這意味著調度器和下載器的中間件可以復用)安排下載，當優先級更高，- - 會在其他頁面被抓取前處理。項目會在這個特定的管道階段保持“locker”的狀態，直到完成文件的下載(或者由于某些原因未完成下載)。
• 當文件下載完后，另一個字段(files)將被更新到結構中。這個組將包含一個字典列表，其中包括下載文件的信息，比如下載路徑、源抓取地址(從 file_urls 組獲得)和圖片的校驗碼(checksum)。 files 列表中的文件順序將和源 file_urls 組保持一致。如果某個圖片下載失敗，將會記錄下錯誤信息，圖片也不會出現在 files 組中。

Images Pipeline

• 避免重新下載最近已經下載過的數據
• 指定存儲路徑
• 將所有下載的圖片轉換成通用的格式(JPG)和模式(RGB)
• 縮略圖生成
• 檢測圖像的寬/高，確保它們滿足最小限制

啟用Media Pipeline

# 同時啟用圖片和文件管道ITEM_PIPELINES = { # 使用時，請修改成你自己的 ImgPipeline 'girlScrapy.pipelines.ImgPipeline': 1,}FILES_STORE = os.getcwd() + '/girlScrapy/file' # 文件存儲路徑IMAGES_STORE = os.getcwd() + '/girlScrapy/img' # 圖片存儲路徑# 避免下載最近90天已經下載過的文件內容FILES_EXPIRES = 90# 避免下載最近90天已經下載過的圖像內容IMAGES_EXPIRES = 30# 設置圖片縮略圖IMAGES_THUMBS = { 'small': (50, 50), 'big': (250, 250),}# 圖片過濾器，最小高度和寬度，低于此尺寸不下載IMAGES_MIN_HEIGHT = 128IMAGES_MIN_WIDTH = 128

需要說明的是，你下載的圖片名最終會以圖片 URL 的 hash 值命名，例如：

0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg

最終的保存地址為：

your/img/path/full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg

使用 ImgPipeline

這是我 demo 中的一個 ImgPipeline，里面重寫了兩個方法。

from scrapy.pipelines.images import ImagesPipelineclass ImgPipeline(ImagesPipeline):#繼承 ImagesPipeline 這個類 def get_media_requests(self, item, info): for image_url in item['image_urls']: image_url = image_url yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item

分別是：

get_media_requests(self, item, info):item_completed(self, results, item, info):

get_media_requests(self, item, info):

在這里，我們可以獲取到 parse 中解析的 item 值，因此我們可以獲取到相應的圖片地址。在這里返回一個 scrapy.Request(image_url) 去下載圖片。

item_completed(self, results, item, info):

item 和 info 打印出來都是 url 地址列表。其中 results 打印出來是如下值。

# 成功[(True, {'path': 'full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg', 'checksum': '98eb559631127d7611b499dfed0b6406', 'url': 'http://mm.chinasareview.com/wp-content/uploads/2017a/06/13/01.jpg'})]# 錯誤[(False, Failure(...))]

抓取妹子圖

ok，理論部分也講完了，那我們來實踐一下吧

spider

spider 部分很簡單，如下：

class GirlSpider(scrapy.spiders.Spider): name = 'girl' start_urls = ["http://www.meizitu.com/a/3741.html"] def parse(self, response): soup = BeautifulSoup(response.body, 'html5lib') pic_list = soup.find('div', id="picture").find_all('img') # 找到界面所有圖片 link_list = [] item = ImgItem() for i in pic_list: pic_link = i.get('src') # 拿到圖片的具體 url link_list.append(pic_link) # 提取圖片鏈接 item['image_urls'] = link_list print(item) yield item

item

class ImgItem(scrapy.Item): image_urls = scrapy.Field()#圖片的鏈接 images = scrapy.Field()

ImgPipeline

class ImgPipeline(ImagesPipeline):#繼承 ImagesPipeline 這個類 def get_media_requests(self, item, info): for image_url in item['image_urls']: image_url = image_url yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item

啟動

scrapy crawl girl

最終爬取結果如下：

刪除了某些不適內容，哈哈哈

瞎比比與送書后話

今天的更新就到此結束啦，是不是 get 到了新技能？至于如何批量下載妹子圖？這個，我相信妹子的顏值會驅使你完善這些代碼，手動滑稽！！！最后，回復【妹子圖】獲取源碼。