在ubuntu 16.04里使用python—scrapy將爬取到的數據存到mysql數據庫中的一些隨筆

一、將爬取的數據保存到mysql數據庫的代碼（已經能將爬取的數據保存到json文件）

　　（1）編輯Pipeline.py文件

　　　　

　　（2）編輯settings.py文件

　　　　

　　　　

二、將數據保存至mysql數據庫出現的問題

　　（1）在將數據存儲至數據庫的時候，一直報1366的錯，經查資料，發現是數據編碼的問題，在博客里找了好幾個解決方法，比較好的記錄下：

　　　　 ?1. 首先停掉mysql服務，編輯配置文件my.cnf

　　　　　　sudo stop mysql

　　　　　　sudo vim/etc/mysql.cnf

　　　　　　添加：

　　　　　　

　　　　　2. 重啟服務

　　　　　　sudo start mysql

　　　　　　sudo mysql -u root -p

　　　　　　use root

　　　　　　show variables like '%char%';#更改前存在的用戶字符集不會改變，以后新建的用戶字符集都會變成utf8，重新在數據庫里建字段

　　　　　　本段借鑒https://my.oschina.net/sldk/blog/266268

　　（2）在進行爬取保存的時候，存的數據不完全，經檢查后發現在爬取的數據里有空數據，所以在爬取的時候應做非空處理

三、導出數據庫（以FP為例）（我使用的是root用戶）

　　（1）導出數據和表結構

　　　　使用mysqldump命令，導出sql腳本（如果不指定導出路徑，默認導出至當前路徑）

　　　　格式：mysqldump -u 用戶名 -p （密碼） 數據庫名 > 數據庫名.sql

　　　　　　　mysqldump -u root -p FP > FP.sql

　　　　　　　回車后提示輸入密碼

　　　（2）只導出表結構

　　　　格式：mysqldump -u 用戶名 -p （密碼） -d 數據庫名 > 數據庫名.sql

　　　　　　　mysqldump -u root -p -d FP > FP.sql

二、導入數據庫

　　導入和導出我學習了這位仁兄的博客

　　https://my.oschina.net/linuxphp/blog/693650