如何在Scrapy/Zyte中向我自己的模板添加新的蜘蛛参数

rfbsl7qr  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(125)

我正在制作一个付费的代理蜘蛛模板,我希望能够在Scrapy爬虫的命令行中传递一个新的参数。我该怎么做呢?

dffbzjpn

dffbzjpn1#

这可以通过在spider的__init__-方法中使用kwargs来实现:

import scrapy

class YourSpider(scrapy.Spider):
    name = your_spider

    def __init__(self, *args,**kwargs):
        super(YourSpider, self).__init__(*args,**kwargs)
        self.your_arg = kwargs.get("your_cmd_arg", 42)

现在,可以按如下方式调用蜘蛛:
scrapy crawl your_spider -a your_cmd_arg=foo
有关该主题的更多信息,请随时查看Scrapy文档中的此页面。

相关问题