截至最近Scrapinghub的免费包中不再有定期作业,这是我用来运行Scrapy爬虫的。
因此,我决定使用Scrapyd。所以我继续运行Ubuntu 16.04的虚拟服务器。(这是我第一次设置和运行服务器,所以请耐心等待)
按照scrapyd.readthedocs.io上的说明,我使用pip安装了Scrapyd:
$ pip install scrapyd
字符串
(That是在我发现Ubuntu推荐的方式,使用apt-get,实际上不再支持,参见Github)。
然后我使用SSH登录到我的服务器上,并运行Scrapyd
$ scrapyd
型
一切都很好,据我所知:
2017-10-30 17:31:19+0000 [-] Log opened.
2017-10-30 17:31:19+0000 [-] twistd 16.0.0 (/usr/bin/python 2.7.12) starting up.
2017-10-30 17:31:19+0000 [-] reactor class: twisted.internet.epollreactor.EPollReactor.
2017-10-30 17:31:19+0000 [-] Site starting on 6800
2017-10-30 17:31:19+0000 [-] Starting factory <twisted.web.server.Site instance at 0x7f644752bfc8>
2017-10-30 17:31:19+0000 [Launcher] Scrapyd 1.2.0 started: max_proc=4, runner=u'scrapyd.runner'
型
我希望看到一个Web界面(在这里描述),当我去我的IP在http://82.165.102.18:6800。
相反,我只是得到错误消息“This site cannot 82.165.102.18
当我尝试在本地运行Scrapyd时,一切都工作得很好,我在http://localhost:6800/上得到了web界面。
我试过禁用防火墙(UFW),但没有帮助。
在这一点上,我迷路了。如果你有什么想法,请告诉我!
多谢了!
1条答案
按热度按时间xuo3flqw1#
如果您可以在本地访问您的Scrapyd示例,但不能通过网络访问,我怀疑Scrapyd只在localhost上侦听。确保在
scrapyd.conf
中有这一行:字符串
它指示Scrapyd侦听所有接口。
bind_address
默认为127.0.0.1
,因此默认情况下它只侦听本地主机。