我有以下配置：hadoop:v2.7.1（Yarn）输入文件：大小=100 gb。3个从机：每个从机有4个vCore，速度=2 ghz，ram=8 gb5个从机：每个从机有2个vCore，速度为1GHz，ram为2GBmapreduce程序：wordcount如何通过将小的输入分割分配给5个较慢的从机，将大的输入分割分配给3个最快的从机来最小化字数执行时间？
ax6ht2ek1#
对于每台机器，您可以确定map/reduce插槽的数量，因此如果您希望向较慢的机器发送较少的工作负载，您可以为每台较慢的机器定义2个map/reduce任务插槽，为每台较快的机器定义4个map/reduce任务插槽。通过这种方式，您可以控制集群中每个不同节点接收的工作负载。
1条答案
按热度按时间ax6ht2ek1#
对于每台机器，您可以确定map/reduce插槽的数量，因此如果您希望向较慢的机器发送较少的工作负载，您可以为每台较慢的机器定义2个map/reduce任务插槽，为每台较快的机器定义4个map/reduce任务插槽。通过这种方式，您可以控制集群中每个不同节点接收的工作负载。