我想知道你是否设定了 mapred.child.java.opts 选项，它是否设置每个工作节点或每个map/reduce插槽的内存量？例如 mapred.child.java.opts=Xmx2000m ，每个节点或插槽大约2 gb？谢谢
mapred.child.java.opts
mapred.child.java.opts=Xmx2000m
myzjeezk1#
一般来说 mapred.child.java.opts 可以为每个节点或每个作业设置。假设你有mapper的( mapred.tasktracker.map.tasks.maximum )+减速器( mapred.tasktracker.reduce.tasks.maximum )在一个节点上并发运行的是12 mapred.child.java.opts 确定该节点对子进程使用了多少ram。前任：
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
mapred.tasktracker.map.tasks.maximum = 10 mapred.tasktracker.reduce.tasks.maximum = 2 mapred.child.java.opts = -Xmx256m total ram used by child processes = (10 + 2) * 256m =~ 3GB
1条答案
按热度按时间myzjeezk1#
一般来说
mapred.child.java.opts可以为每个节点或每个作业设置。假设你有mapper的(
mapred.tasktracker.map.tasks.maximum)+减速器(mapred.tasktracker.reduce.tasks.maximum)在一个节点上并发运行的是12mapred.child.java.opts确定该节点对子进程使用了多少ram。前任：