我想知道是否有任何喷口实现从hdfs到storm的数据流(类似于从hdfs的spark流)。我知道有很多实现可以将数据写入hdfs(https://github.com/ptgoetz/storm-hdfs 以及http://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.1.3/bk_user-guide/content/ch_storm-using-hdfs-connector.html)但另一方面我找不到。我很感激你的建议和暗示。
我想知道是否有任何喷口实现从hdfs到storm的数据流(类似于从hdfs的spark流)。我知道有很多实现可以将数据写入hdfs(https://github.com/ptgoetz/storm-hdfs 以及http://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.1.3/bk_user-guide/content/ch_storm-using-hdfs-connector.html)但另一方面我找不到。我很感激你的建议和暗示。
1条答案
按热度按时间r7xajy2e1#
一种选择是使用hadoop hdfs javaapi。假设您使用的是maven,那么在pom.xml中应该包含hadoop common:
然后,在spout实现中,您将使用hdfs filesystem对象。例如,以下是一些伪代码,用于将文件中的每一行作为字符串发送: