Scrapy实现动态调试和同时启动多个爬虫

一般启动方式

1
scrapy crawl spider_name

命令行启动好处是灵活方便, 可以通过传递参数的形式控制爬虫的行为和输出。

参见官方文档

比如你可以配置爬虫采集到数据的输出方式:

1
scrapy crawl dmoz -o items.json

但是它的缺点也很明显:

  • 原子性太强,不方便动态调试代码
  • 当需要启动多个爬虫时,不方便操作

新的思路

我们知道Scrapy是基于Twisted实现的爬虫框架, 因此我们可以通过引入reactor来启动我们的爬虫。

为了方便理解,我把的项目结构展示出来:

1
2
3
4
5
6
7
8
9
10
11
12
.
├── learn_scrapy
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│   ├── __init__.py
│   └── test.py
├── debug.py
└── scrapy.cfg

我在项目根目录下新建了文件 debug.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#! /usr/bin/env python3
# -*- coding: utf-8 -*-
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.project import get_project_settings
from scrapy.utils.log import configure_logging
# 引入spider
from learn_scrapy.spiders.test import TestSpider
import logging


logger = logging.getLogger(__name__)

settings = get_project_settings()
configure_logging(settings)
runner = CrawlerRunner(settings)


def start_spider():
# 装载爬虫
runner.crawl(TestSpider)
# 如果有多个爬虫需要启动可以一直装载下去
# runner.crawl(TestSpider2)
# runner.crawl(TestSpider3)
# runner.crawl(TestSpider4)
# ... ...

# 爬虫结束后停止事件循环
d = runner.join()
d.addBoth(lambda _: reactor.stop())

# 启动事件循环
reactor.run()


def main():
start_spider()


if __name__ == '__main__':
main()

运行这个文件python3 debug.py就可以启动爬虫。

动态调试

在IDE下选择启动debug:

可以看到程序停在了断点处,可以很方便的查看程序运行时的堆栈和变量信息:

坚持原创技术分享,您的支持将鼓励我继续创作!