scrapy在pycharm 調試
1、使用scrapy創建一個項目
scrapy startproject tutorial
2、在朋友pycharm中調試scrapy
2.1 通過文件run.py調試
在根目錄下新建一個文件run.py(與scrapy.cfg文件的同一目錄下), debug ‘run’即可
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 對應的是爬蟲名 在cmd運行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())
調試與運行
2.2 配置環境調試
復制cmdline.py到項目主目錄
找到scrapy下的cmdline.py文件(比如我這里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py)復制一份到tutorial項目的根目錄下(scrapy.cfg文件的同一目錄下)
編緝文件調試