我想把通过mr jobs创建的索引复制到solr中,这些索引现在驻留在hdfs中。是否可以使用sqoop?如果是,那么使用什么jdbc连接器或驱动程序?如果不是sqoop,还有其他方法吗?
30byixjq1#
你可以考虑使用Flume。https://flume.apache.org/flumeuserguide.html#flume-1-5-2-用户指南morphlinesolrsink:这个接收器非常适合将原始数据流到hdfs(通过hdfssink)中,同时将相同的数据提取、转换和加载到solr(通过morphlinesolrsink)中的用例。更多信息:https://flume.apache.org/flumeuserguide.html#morphlinesolrsink
1条答案
按热度按时间30byixjq1#
你可以考虑使用Flume。https://flume.apache.org/flumeuserguide.html#flume-1-5-2-用户指南
morphlinesolrsink:这个接收器非常适合将原始数据流到hdfs(通过hdfssink)中,同时将相同的数据提取、转换和加载到solr(通过morphlinesolrsink)中的用例。
更多信息:https://flume.apache.org/flumeuserguide.html#morphlinesolrsink