我试图通过使用几个参数来调整mr作业的运行时间。我正在使用dr.elephant来获得一些关于运行时和可优化配置的反馈。
我注意到并行运行的reducer任务(9)非常少。根据大象博士的建议,我正在努力增加这个数目
我尝试了以下配置
mapreduce.job.reduces = 15
即使设置了此标志,mr仍仅使用9个减速器运行。
这是我使用的总配置
{
"hdp.version":"2.5.3.58-3",
"mapreduce.job.user.classpath.first":"true",
"mapreduce.map.java.opts":"-server -Xmx1536m -Duser.timezone=UTC -Dfile.encoding=UTF-8",
"mapreduce.reduce.java.opts":"-server -Xmx2560m -Duser.timezone=UTC -Dfile.encoding=UTF-8",
"mapreduce.map.memory.mb":"15360",
"mapreduce.job.running.map.limit": "200",
"mapreduce.reduce.memory.mb":"15360",
"mapreduce.job.reduces": "15",
"mapreduce.job.running.reduce.limit": "100",
"mapreduce.job.reduce.slowstart.completedmaps":"1.0"
}
我是不是漏了什么?我们使用的是Hadoop2.x,所以这是正确的语法。感谢您的帮助
暂无答案!
目前还没有任何答案,快来回答吧!