因此,我试图找出如何安装和设置风暴/stormcrawler与es和kibana如这里所述。
我从来没有在本地机器上安装过storm,因为我以前和nutch一起工作过,也从来没有在本地安装过hadoop。。。我想Storm也一样(也许不是?)。
我想开始用风暴爬虫而不是坚果爬行了。
似乎如果我只是下载一个版本并将/bin添加到我的路径中,我就只能与远程集群通信。
似乎我需要根据这一点设置一个开发环境,让我能够随着时间的推移开发不同的拓扑,然后在准备部署新拓扑时从本地机器与远程集群进行通信。是这样吗?
所以当我用maven构建stormcrawler项目时,我需要做的似乎就是将storm作为一个依赖项添加到它?
1条答案
按热度按时间z0qdvdin1#
请参阅youtube上的入门页和教程。
您不需要安装storm,因为您可以在本地模式下运行拓扑,就像使用nutch和hadoop一样。只需从原型生成一个拓扑,根据您的需要进行修改,例如添加es组件并使用-local运行它。请参阅由原型生成的自述文件。
稍后,您将安装storm以从ui中获益,并可能在多个节点上运行它,但作为一个起点,在本地执行它是探索stormcrawler功能的一个好方法。