hadoop 0.20:“作业设置”任务

6l7fqoea  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(232)

我不确定这是否是更新版本的hadoop已经修复的问题,但是我现在被限制运行hadoop0.20(遗留代码)。
问题是:当我启动hadoop作业时,需要首先运行“作业设置”任务。在我看来,hadoop随机选择这个任务,要么是map任务,要么是reduce任务。
我们配置的map任务的容量比reduce任务的容量大,所以每当我运气不好并且有reduce启动任务时,我的作业甚至要花很长时间才能开始运行。有什么办法克服这个问题吗?

zynd9foi

zynd9foi1#

hadoop作业首先完成所有Map器任务。一旦所有的mapper任务都完成了,它就会通过网络进行洗牌和排序,只有在这之后,reducer任务才会开始处理。所以我想这次耽搁可能还有别的原因。

相关问题