我使用scrapy，我想得到忽略响应URL。我只是在输出控制台中看到这个：调试：忽略响应〈999 https://www.mywebsite.com〉：未处理或不允许HTTP状态代码。
au9on6nz1#
根据文档here，您可以添加一个HTTP状态代码列表，这些代码应该由您的蜘蛛处理，即使它们在默认情况下是不允许的。在您的情况下，必须将以下行添加到spider定义中：
handle_httpstatus_list = [999]
这将导致网络扫描程序即使使用此状态代码也能获得结果。
下次在提问之前，请查看StackOverflow中类似的问题，并阅读相关文档。如果能编写一些代码让我们知道您的错误发生在哪里，这不会是错误的。如果没有这些信息，社区将很难给予任何答案。
1条答案
按热度按时间au9on6nz1#
根据文档here，您可以添加一个HTTP状态代码列表，这些代码应该由您的蜘蛛处理，即使它们在默认情况下是不允许的。
在您的情况下，必须将以下行添加到spider定义中：
这将导致网络扫描程序即使使用此状态代码也能获得结果。
下次在提问之前，请查看StackOverflow中类似的问题，并阅读相关文档。如果能编写一些代码让我们知道您的错误发生在哪里，这不会是错误的。如果没有这些信息，社区将很难给予任何答案。