异构集群中的hadoop mapreduce2优化

6l7fqoea  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(361)

我有以下配置:
hadoop:v2.7.1(Yarn)
输入文件:大小=100 gb。
3个从机:每个从机有4个vCore,速度=2 ghz,ram=8 gb
5个从机:每个从机有2个vCore,速度为1GHz,ram为2GB
mapreduce程序:wordcount
如何通过将小的输入分割分配给5个较慢的从机,将大的输入分割分配给3个最快的从机来最小化字数执行时间?

ax6ht2ek

ax6ht2ek1#

对于每台机器,您可以确定map/reduce插槽的数量,因此如果您希望向较慢的机器发送较少的工作负载,您可以为每台较慢的机器定义2个map/reduce任务插槽,为每台较快的机器定义4个map/reduce任务插槽。通过这种方式,您可以控制集群中每个不同节点接收的工作负载。

相关问题