ubuntu 如何在服务器上运行Scrapyd

gpfsuwkq  于 2023-08-03  发布在  其他
关注(0)|答案(1)|浏览(190)

截至最近Scrapinghub的免费包中不再有定期作业,这是我用来运行Scrapy爬虫的。
因此,我决定使用Scrapyd。所以我继续运行Ubuntu 16.04的虚拟服务器。(这是我第一次设置和运行服务器,所以请耐心等待)
按照scrapyd.readthedocs.io上的说明,我使用pip安装了Scrapyd:

  1. $ pip install scrapyd

字符串
(That是在我发现Ubuntu推荐的方式,使用apt-get,实际上不再支持,参见Github)。
然后我使用SSH登录到我的服务器上,并运行Scrapyd

  1. $ scrapyd


一切都很好,据我所知:

  1. 2017-10-30 17:31:19+0000 [-] Log opened.
  2. 2017-10-30 17:31:19+0000 [-] twistd 16.0.0 (/usr/bin/python 2.7.12) starting up.
  3. 2017-10-30 17:31:19+0000 [-] reactor class: twisted.internet.epollreactor.EPollReactor.
  4. 2017-10-30 17:31:19+0000 [-] Site starting on 6800
  5. 2017-10-30 17:31:19+0000 [-] Starting factory <twisted.web.server.Site instance at 0x7f644752bfc8>
  6. 2017-10-30 17:31:19+0000 [Launcher] Scrapyd 1.2.0 started: max_proc=4, runner=u'scrapyd.runner'


我希望看到一个Web界面(在这里描述),当我去我的IP在http://82.165.102.18:6800
相反,我只是得到错误消息“This site cannot 82.165.102.18
当我尝试在本地运行Scrapyd时,一切都工作得很好,我在http://localhost:6800/上得到了web界面。
我试过禁用防火墙(UFW),但没有帮助。
在这一点上,我迷路了。如果你有什么想法,请告诉我!
多谢了!

xuo3flqw

xuo3flqw1#

如果您可以在本地访问您的Scrapyd示例,但不能通过网络访问,我怀疑Scrapyd只在localhost上侦听。确保在scrapyd.conf中有这一行:

  1. bind_address = 0.0.0.0

字符串
它指示Scrapyd侦听所有接口。bind_address默认为127.0.0.1,因此默认情况下它只侦听本地主机。

相关问题