在一个相关的问题（如何在弹性mapreduce上设置hadoop2.4.0中每个节点并发运行任务的精确最大数量）中，我要求提供将并发运行的mapper/reducer的数量与yarn和mr2内存参数相关的公式。结果表明，在elastic mapreduce上，当我的集群有2到10个c3.2x大节点时，上面提到的公式的变体可以正常工作，每个节点有7到9个并发运行的Map器；但是当c3.2xlarges的数量是20或40时，我发现集群利用率不足：每个节点只运行1-4个Map器。由于我的工作是cpu受限的，这一点尤其糟糕：mr2为我提供了mr1性能的一半。
为什么会这样？
1条答案
按热度按时间dldeef671#
你将被限制在namenode所能提供的内容之外。当增加任务节点时，可以并且应该为namenode指定一个更大的示例类型。c3s的mr1页面从未更新过http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/taskconfiguration.html