需要一些帮助来理解hdfs和storm是如何集成的。storm可以使用许多节点来处理传入的数据流。比如说,我的数据是来自不同机器的日志条目。那我该怎么储存这些呢?理想情况下,我希望将日志从一台机器存储到专用于该机器的一个或多个文件中。它是怎么工作的?我能从许多不同的storm节点附加到hdfs中的同一个文件吗?
附言:我还在努力让所有这些运行,所以我不能测试这个物理。。。但这确实让我烦恼。
需要一些帮助来理解hdfs和storm是如何集成的。storm可以使用许多节点来处理传入的数据流。比如说,我的数据是来自不同机器的日志条目。那我该怎么储存这些呢?理想情况下,我希望将日志从一台机器存储到专用于该机器的一个或多个文件中。它是怎么工作的?我能从许多不同的storm节点附加到hdfs中的同一个文件吗?
附言:我还在努力让所有这些运行,所以我不能测试这个物理。。。但这确实让我烦恼。
1条答案
按热度按时间u2nhd7ah1#
用java编写hdfs文件
不,一次不能从多个任务写入同一个文件。每个任务都需要写入目录中自己的文件,然后使用directory/*处理它们(如果您使用的是hadoop)