hadoop:在可用节点之间分发Map器

5f0d552i  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(157)

我有一个包含hdfs上k文件路径的文件,我将它作为输入传递给hadoop,hadoop启动kMap程序(每个文件路径对应一个)。每个Map器都应该使用定义的文件名来处理文件。我的问题是,是否有任何方法可以确保hadoop将使用所有可用节点来处理kMap器,而不是在单个节点上逐个运行所有k节点?我需要这个,因为文件处理需要大量的时间,我真的需要并行处理文件,但不是hadoop自己决定的方式。
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题