无法在hadoop map reduce作业中增加减速机计数

snvhrwxg  于 2021-06-27  发布在  Java
关注(0)|答案(0)|浏览(544)

我试图通过使用几个参数来调整mr作业的运行时间。我正在使用dr.elephant来获得一些关于运行时和可优化配置的反馈。
我注意到并行运行的reducer任务(9)非常少。根据大象博士的建议,我正在努力增加这个数目
我尝试了以下配置

mapreduce.job.reduces = 15

即使设置了此标志,mr仍仅使用9个减速器运行。

这是我使用的总配置

{
            "hdp.version":"2.5.3.58-3",
            "mapreduce.job.user.classpath.first":"true",
            "mapreduce.map.java.opts":"-server -Xmx1536m -Duser.timezone=UTC -Dfile.encoding=UTF-8",
            "mapreduce.reduce.java.opts":"-server -Xmx2560m -Duser.timezone=UTC -Dfile.encoding=UTF-8",
            "mapreduce.map.memory.mb":"15360",
            "mapreduce.job.running.map.limit": "200",
            "mapreduce.reduce.memory.mb":"15360",
            "mapreduce.job.reduces": "15",
            "mapreduce.job.running.reduce.limit": "100",
            "mapreduce.job.reduce.slowstart.completedmaps":"1.0"
}

我是不是漏了什么?我们使用的是Hadoop2.x,所以这是正确的语法。感谢您的帮助

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题