在amazon web服务和本地服务器上集成solr+hadoop和nutch+hbase

qvk1mo1f  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(343)

我在amazon web服务上有一台机器,我正在尝试一些搜索功能。我已经在我的aws机器上安装了nutch和hbase。
我已经爬过wikipedia.org作为一个例子,爬过的数据存储在hbase的cloud上。
我想安装solr并对其进行搜索。我没有将我的系统安装为集群,因为我只是想做一些研究,例如,如何使用它等等。
我的问题是hadoop在这个系统中的地位(我还没有安装hadoop)?在我的本地计算机上安装hadoop和solr合乎逻辑吗。另外,我的下一个挑战将是如何与aws计算机通信。

t1qtbnec

t1qtbnec1#

如果你安装了nutch,你已经有了hadoop,它可以处理你的爬网和解析。您可以将nutch生成的数据推送到solr中进行索引。

相关问题