我目前正在尝试一家公司，他们的日志数据在ElasticSearch(它们目前使用整个麋鹿群）。
splunk有一个名为hunk的插件，可以从splunk的接口查询hdfs/hadoop数据。我已经可以让它工作了。
我的问题是，有没有一种方法可以使用es-hadoop将两者“连接”起来？当hunk查询我的hdfs时，它也会拉入elasticsearch数据？
（他们公司想看看使用splunk而不必复制数据是否可行）
谢谢您。
我目前正在尝试一家公司，他们的日志数据在ElasticSearch(它们目前使用整个麋鹿群）。
splunk有一个名为hunk的插件，可以从splunk的接口查询hdfs/hadoop数据。我已经可以让它工作了。
我的问题是，有没有一种方法可以使用es-hadoop将两者“连接”起来？当hunk查询我的hdfs时，它也会拉入elasticsearch数据？
（他们公司想看看使用splunk而不必复制数据是否可行）
谢谢您。
1条答案
按热度按时间eblbsuwk1#
splunk在2016年弃用了hunk，并发布了hadoop connect。现在您可以从hdfs读取、写入、探索和导出。读、写或探索hdfs集群不需要支付任何费用。因此，您可以使用hdfs中的数据来创建统计解决方案，而无需支付费用。splunk打赌您会希望将汇总的数据和优化的数据集放入splunk中，以使它们对企业用户更可用。https://www.splunk.com/blog/2012/12/20/connecting-splunk-and-hadoop/