根据我的研究,我可以集成hadoop和solr。我已经下载并安装了它们。但无法将它们整合在一起。而且我也找不到合适的教程。我使用的是ubuntu14.04.02、apachehadoop2.6.0和solr5.2.1。如何在我的机器上集成hadoop和solr?注意:我将hadoop安装为单节点。我对这个概念也很陌生。
txu3uszq1#
您可以通过两种方式将solr与hadoop结合使用基于文档在hbase中使用lily索引器因此,如果您想使用hdfs中存在的文档来被solr索引。您需要遵循以下步骤:步骤a。
solrctl --zk zookeeper_server:port/solr --solr solr-server:port/solr instancedir --generate <path of collection>/collection_name
编辑/collection\u name/conf/schema.xml和要索引的数据中的属性
solrctl --zk zookeeper_server:port/solr --solr solr-server:port/solr instancedir --create <collection_name> <path of collection>/collection_name solrctl --zk zookeeper_server:port/solr --solr solr-server:port/solr collection --create <collection_name> -s <num_of_solr_shard> -r <num_of_solr_replication>
你可以给任何号码,但是
所以你的情况是1和1。第二步。一旦创建了集合,就可以通过以下命令对数据进行索引
curl http://solr-server:port/solr/<collection_name>/update/csv --data-binary @<path_of_data_file_in_linux> -H 'Content-type:text/plain; charset=utf-8'
如果要索引hbase数据,请执行步骤a。创建solr集合,然后使用lily indexer(key-value indexer)在hbase上创建indexer,之后数据可以在solr上以xml或json的形式显示。
wpcxdonn2#
我建议你阅读一下cloudera搜索(http://www.cloudera.com/content/cloudera/en/documentation/cloudera-search/v1-latest/cloudera-search-user-guide/csug_introducing.html)这基本上是一个由cloudera集成hadoop和solr的开源项目。
2条答案
按热度按时间txu3uszq1#
您可以通过两种方式将solr与hadoop结合使用
基于文档
在hbase中使用lily索引器
因此,如果您想使用hdfs中存在的文档来被solr索引。您需要遵循以下步骤:步骤a。
编辑/collection\u name/conf/schema.xml和要索引的数据中的属性
你可以给任何号码,但是
所以你的情况是1和1。
第二步。一旦创建了集合,就可以通过以下命令对数据进行索引
如果要索引hbase数据,请执行步骤a。创建solr集合,然后使用lily indexer(key-value indexer)在hbase上创建indexer,之后数据可以在solr上以xml或json的形式显示。
wpcxdonn2#
我建议你阅读一下cloudera搜索(http://www.cloudera.com/content/cloudera/en/documentation/cloudera-search/v1-latest/cloudera-search-user-guide/csug_introducing.html)
这基本上是一个由cloudera集成hadoop和solr的开源项目。