我有以下配置:hadoop:v2.7.1(Yarn)输入文件:大小=100 gb。3个从机:每个从机有4个vCore,速度=2 ghz,ram=8 gb5个从机:每个从机有2个vCore,速度为1GHz,ram为2GBmapreduce程序:wordcount如何通过将小的输入分割分配给5个较慢的从机,将大的输入分割分配给3个最快的从机来最小化字数执行时间?
ax6ht2ek1#
对于每台机器,您可以确定map/reduce插槽的数量,因此如果您希望向较慢的机器发送较少的工作负载,您可以为每台较慢的机器定义2个map/reduce任务插槽,为每台较快的机器定义4个map/reduce任务插槽。通过这种方式,您可以控制集群中每个不同节点接收的工作负载。
1条答案
按热度按时间ax6ht2ek1#
对于每台机器,您可以确定map/reduce插槽的数量,因此如果您希望向较慢的机器发送较少的工作负载,您可以为每台较慢的机器定义2个map/reduce任务插槽,为每台较快的机器定义4个map/reduce任务插槽。通过这种方式,您可以控制集群中每个不同节点接收的工作负载。