我建议你从另一个Angular 来解决这个问题。

scrapy crawl CanCrawler -a contract=goods

您只需要在类初始值设定项中包含所引用的变量

class CanCrawler(scrapy.Spider):
    name = 'CanCrawler'
    def __init__(self, contract='', *args,**kwargs):
        super(CanCrawler, self).__init__(*args,**kwargs)
        self.start_urls = ['https://buyandsell.gc.ca/procurement-data/search/site']
        # ...

你还可以考虑添加多个参数，这样你就可以从网站的主页开始，使用这些参数，你可以得到你需要的任何数据。例如，对于这个网站https://buyandsell.gc.ca/procurement-data/search/site，你可以有两个命令行参数。

scrapy crawl CanCrawler -a procure=ContractHistory -a contract=goods

这样你就能

class CanCrawler(scrapy.Spider):
    name = 'CanCrawler'
    def __init__(self, procure='', contract='', *args,**kwargs):
        super(CanCrawler, self).__init__(*args,**kwargs)
        self.start_urls = ['https://buyandsell.gc.ca/procurement-data/search/site']
        # ...

然后根据您传递的参数，您可以让您的爬行器单击网站上的这些选项来获取您要爬行的数据。Please also see here。我希望这对您有所帮助！

在你的蜘蛛中，像这样交出你的物品。

data = {'categories': {}, 'contracts':{}, 'goods':{}, 'services':{}, 'construction':{} }

其中每个项都包含一个Python字典。
然后创建一个管道，并在管道内执行以下操作。

if 'categories' in item:
   categories = item['categories']
   # and then process categories, save into DB maybe

if 'contracts' in item:
   categories = item['contracts']
   # and then process contracts, save into DB maybe
.
.
.

# And others