hadoopmr1和yarn与mr2之间的区别?

p4tfgftt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(914)

有人能告诉我mr1和Yarn和mr2有什么区别吗
我的理解是mr1将有以下组件namenode,secondary name node,datanode,job tracker,task tracker
节点管理器资源管理器
Yarn由mr1或mr2组成(或两者相同?)
对不起,我问了一个基本的问题

lmyy7pcs

lmyy7pcs1#

mrv1使用jobtracker创建任务并将任务分配给任务跟踪器,当集群扩展到足够远(通常在4000个集群左右)时,任务跟踪器可能成为资源瓶颈。
mrv2(又名yarn,“又一个资源协商者”)为每个集群都有一个资源管理器,每个数据节点运行一个节点管理器。在mapreducemrv2中,jobtracker的功能被分为三个服务。resourcemanager是一个持久性的yarn服务,它在集群上接收和运行应用程序(mapreduce作业是一个应用程序)。它包含调度程序,与前面一样,它是可插入的。jobtracker的特定于mapreduce的功能已被移动到mapreduce应用程序主控程序中,其中一个功能用于管理每个mapreduce作业,并在作业完成时终止。提供有关已完成作业的信息的jobtracker函数已移动到jobhistory服务器。tasktracker已经被nodemanager所取代,nodemanager是一种管理主机上的资源和部署的服务。它负责发射集装箱,每个集装箱都可以放置Map或减少任务。

hrysbysz

hrysbysz2#

yarn是任何形式的分布式应用程序运行的通用平台,而mr2就是这样一个在yarn之上运行mapreduce框架的分布式应用程序

相关问题