java—使用storm将数据移动到hdfs

eimct9ow  于 2021-06-21  发布在  Storm
关注(0)|答案(1)|浏览(243)

需要一些帮助来理解hdfs和storm是如何集成的。storm可以使用许多节点来处理传入的数据流。比如说,我的数据是来自不同机器的日志条目。那我该怎么储存这些呢?理想情况下,我希望将日志从一台机器存储到专用于该机器的一个或多个文件中。它是怎么工作的?我能从许多不同的storm节点附加到hdfs中的同一个文件吗?
附言:我还在努力让所有这些运行,所以我不能测试这个物理。。。但这确实让我烦恼。

u2nhd7ah

u2nhd7ah1#

用java编写hdfs文件
不,一次不能从多个任务写入同一个文件。每个任务都需要写入目录中自己的文件,然后使用directory/*处理它们(如果您使用的是hadoop)

相关问题