我有一个包含hdfs上k文件路径的文件,我将它作为输入传递给hadoop,hadoop启动kMap程序(每个文件路径对应一个)。每个Map器都应该使用定义的文件名来处理文件。我的问题是,是否有任何方法可以确保hadoop将使用所有可用节点来处理kMap器,而不是在单个节点上逐个运行所有k节点?我需要这个,因为文件处理需要大量的时间,我真的需要并行处理文件,但不是hadoop自己决定的方式。谢谢
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!