我在hadoop集群中使用3台计算机，主计算机有3gbram，从计算机有3gbram。奴隶的Map任务容量是6，但我需要更多。我能换这个号码吗？机器的哪个属性决定Map任务的容量？
6mzjoqzu1#
为运行map和reduce任务的JVM提供的内存量由mapred.child.java.opts属性设置。
vq8itlhq2#
我猜您是在问如何让它在每台工作机器上运行6个以上的Map器。首先要检查的是 mapred.tasktracker.map.tasks.maximum 在你的群里。默认为2。如果您有3台机器，那就意味着集群中最多有6个Map——而不是每个工作者。无论如何，增加到你喜欢的程度。但这不会使hadoop使用比它认为适合输入的Map器更多的Map器。这是你应该留给hadoop的。
mapred.tasktracker.map.tasks.maximum
2条答案
按热度按时间6mzjoqzu1#
为运行map和reduce任务的JVM提供的内存量由mapred.child.java.opts属性设置。
vq8itlhq2#
我猜您是在问如何让它在每台工作机器上运行6个以上的Map器。首先要检查的是
mapred.tasktracker.map.tasks.maximum在你的群里。默认为2。如果您有3台机器，那就意味着集群中最多有6个Map——而不是每个工作者。无论如何，增加到你喜欢的程度。但这不会使hadoop使用比它认为适合输入的Map器更多的Map器。这是你应该留给hadoop的。