scrapy 如何在爬虫回调函数中添加关键字？

hfwmuf9z 于 2023-05-17 发布在其他

关注(0)|答案(1)|浏览(247)

我在向爬虫添加关键字时遇到了问题。我使用scrapy，flask和crochet。函数为：

@crochet.run_in_reactor
def scrape_with_crochet(req):
    eventual = crawl_runner.crawl(Spider, output_data = output_data,**req)
    eventual.addCallback(finished_scrape,callbackKeywords = {'stash':5})

如何在eventual.addCallback中添加关键字我试过eventual.addCallback(finished_scrape,callbackKeywords = {'stash':5})
和eventual.addCallback(finished_scrape,cb_kwargs= {'stash':5})，但似乎都不起作用。

scrapy

来源：https://stackoverflow.com/questions/76191968/how-to-add-a-keyword-to-a-crawler-callback-function

1条答案

按热度按时间

xv8emn3q1#

根据文件：
def addCallback(self, callback, *args, **kwargs): (source)
仅添加回调的便捷方法。
产品参数

callback：Callable[...,Union[_NextDeferredResultT,Deferred[_NextDeferredResultT]]]
*args：object
**kwargs：object

退货

Deferred

[_NextDeferredResultT]
这意味着你会像这样添加它：

kwargs = {'stash': 5}

@crochet.run_in_reactor
def scrape_with_crochet(req):
    eventual = crawl_runner.crawl(Spider, output_data = output_data,**req)
    eventual.addCallback(finished_scrape, **kwargs)

赞(0）回复(0）举报 2023-05-17

我来回答

scrapy 如何在爬虫回调函数中添加关键字？

1条答案

相关问题

热门标签

最新问答