前言

保存本地

存儲Json數據

配置setting

保存數據庫

創建數據庫

創建表

編寫pipelines

配置setting

本文是對上篇文章所講的代碼進一步優化，回看可以點這里，代碼就直接在上一篇代碼中進行改造，沒有的小伙伴可以在這里下載。

前言

Scrapy 提供了 pipeline 模塊來執行保存數據的操作。在創建的 Scrapy 項目中自動創建了一個 pipeline.py 文件，同時創建了一個默認的 Pipeline 類。我們可以根據需要自定義 Pipeline 類，然后在 settings.py 文件中進行配置即可。

保存本地

存儲Json數據

找到pipelines.py文件，編寫下面代碼：

這里用到了json包，如果沒有的小伙伴可以直接在命令窗口進行下載，下載代碼：

pip install json

1

回到hotel.py文件，將“print(item)”改成“yeild item”

配置setting

打開pipelines通道注釋，在里面新增一條我們在pipelines中添加的記錄

到這里，代碼就已經寫好了，下面就運行起來看看。

運行成功后會在目錄下多出一個文件出來。如圖：

打開可以看看：

就是我們想要的。其實pipelines也是很簡單，在新增一個pipelines時，只要重寫“process_item”方法就可以了。

保存數據庫

創建數據庫

使用命令創建數據庫

CREATE DATABASE `crawler`

1

也可以使用工具創建數據庫，我這里是使用Navicat工具創建的。

創建表

使用命令創建表

CREATE TABLE `qunar_city` (

`id` ?int NOT NULL AUTO_INCREMENT COMMENT '主鍵' ,

`name` ?varchar(50) NULL COMMENT '城市' ,

`url` ?varchar(500) NULL COMMENT 'url' ,

PRIMARY KEY (`id`)

);

1

2

3

4

5

6

使用工具創建表

編寫pipelines

在新增一個pipelines

添加相應的包

配置setting

到這里，代碼就基本寫完了，下面我們運行起來看看。

爬取數據輸出結果

數據保存數據庫的結果

在圖上可以看出，爬取的數據結果是沒有錯的，但是在保存數據的時候出錯了，出現重復數據。那為什么會造成這種結果呢？

其原因是由于Spider的速率比較快，而scapy操作數據庫操作比較慢，導致pipeline中的方法調用較慢，這樣當一個變量正在處理的時候，一個新的變量過來，之前的變量的值就會被覆蓋。

就比如pipline的速率是1TPS，而spider的速率是5TPS，那么數據庫應該會有5條重復數據。

解決方案是對變量進行保存，在保存的變量進行操作，通過互斥確保變量不被修改。

下面將代碼進行改造一下：

并在頭部到了copy包

import copy

1

沒有copy包的小伙伴可以在命令窗口進行下載

pip install copy

1

然后先把數據庫的數據清空一下，在來運行看看：

現在數據就正常了，可以看到總數據才950條，不像之前那樣上千條。

文中代碼部分都是用圖片的，目的是希望小伙伴們可以直接上手自己敲，代碼只有敲多了才能記得更牢，才能學的更快。

本文源代碼會在下面給出，如果有什么不懂的地方可以直接下載源代碼查看。

因為本人也是一名初學者，如果有什么好的建議歡迎大家在評論中寫出，大家一起學習！