hadoop与solr的集成

pes8fvy9  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(343)

根据我的研究,我可以集成hadoop和solr。我已经下载并安装了它们。但无法将它们整合在一起。而且我也找不到合适的教程。
我使用的是ubuntu14.04.02、apachehadoop2.6.0和solr5.2.1。
如何在我的机器上集成hadoop和solr?
注意:我将hadoop安装为单节点。我对这个概念也很陌生。

txu3uszq

txu3uszq1#

您可以通过两种方式将solr与hadoop结合使用
基于文档
在hbase中使用lily索引器
因此,如果您想使用hdfs中存在的文档来被solr索引。您需要遵循以下步骤:步骤a。

solrctl --zk zookeeper_server:port/solr --solr solr-server:port/solr instancedir --generate <path of collection>/collection_name

编辑/collection\u name/conf/schema.xml和要索引的数据中的属性

solrctl --zk zookeeper_server:port/solr --solr solr-server:port/solr instancedir --create <collection_name> <path of collection>/collection_name
solrctl --zk zookeeper_server:port/solr --solr solr-server:port/solr  collection --create <collection_name> -s <num_of_solr_shard> -r <num_of_solr_replication>

你可以给任何号码,但是

  • <=集群中的solr节点数例如,如果您有7个节点,则可以根据需要有3,2或2,3个节点。

所以你的情况是1和1。
第二步。一旦创建了集合,就可以通过以下命令对数据进行索引

curl http://solr-server:port/solr/<collection_name>/update/csv --data-binary @<path_of_data_file_in_linux> -H 'Content-type:text/plain; charset=utf-8'

如果要索引hbase数据,请执行步骤a。创建solr集合,然后使用lily indexer(key-value indexer)在hbase上创建indexer,之后数据可以在solr上以xml或json的形式显示。

wpcxdonn

wpcxdonn2#

我建议你阅读一下cloudera搜索(http://www.cloudera.com/content/cloudera/en/documentation/cloudera-search/v1-latest/cloudera-search-user-guide/csug_introducing.html)
这基本上是一个由cloudera集成hadoop和solr的开源项目。

相关问题