【python爬虫】scrapy在pycharm 调试
scrapy在pycharm 调试，scrapy爬虫
·
scrapy在pycharm 调试
1、使用scrapy创建一个项目
scrapy startproject tutorial
2、在朋友pycharm中调试scrapy
2.1 通过文件run.py调试
在根目录下新建一个文件run.py（与scrapy.cfg文件的同一目录下）, debug ‘run’即可
# -*- coding:utf-8 -*-
from scrapy import cmdline
# quotes 对应的是爬虫名 在cmd运行 scrapy crawl quotes 同步
cmdline.execute("scrapy crawl quotes".split())
调试与运行
2.2 配置环境调试
复制cmdline.py到项目主目录
找到scrapy下的cmdline.py文件（比如我这里是D:\python3.10.2\Lib\site-packages\scrapy\cmdline.py）复制一份到tutorial项目的根目录下（scrapy.cfg文件的同一目录下）
编缉文件调试运行配置
调试与运行
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
9
0- 0
已为社区贡献1条内容
所有评论(0)