现有mapreduce和yarn(mrv2)之间的差异

fhity93d  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(303)

有谁能告诉我,现有的mapreduce和yarn有哪些区别,因为我没有发现这两者之间的所有明显区别?
p、 s:我想比较一下这些。
谢谢!

wyyhbhjk

wyyhbhjk1#

mrv1使用jobtracker创建任务并将任务分配给数据节点,当集群扩展到足够远(通常在4000个节点左右)时,这可能成为资源瓶颈。
mrv2(又名yarn,“又一个资源协商者”)为每个集群都有一个资源管理器,每个数据节点运行一个节点管理器。对于每个作业,一个从属节点将充当应用程序主节点,监视资源/任务等。

btqmn9zl

btqmn9zl2#

mrv1也称为hadoop1,其中hdfs(资源管理和调度)和mapreduce(编程框架)紧密耦合。因此,非批处理应用程序不能在hadoop1上运行。它只有一个namenode,因此不能提供高的系统可用性和可伸缩性。
mrv2(又名hadoop2)在这个版本的hadoop中,资源管理和调度任务与mapreduce分开,mapreduce由yarn(另一个资源协商器)分开。资源管理和调度层位于mapreduce层之下。它还提供了高系统可用性和可扩展性,因为我们可以创建冗余名称节点。快照的新特性,通过它我们可以备份文件系统,这有助于灾难恢复。

相关问题