关闭。这个问题是基于意见的。它目前不接受答案。**想改进这个问题吗?**更新这个问题,这样就可以通过编辑这篇文章用事实和引文来回答。
6年前关门了。改进这个问题我计划从hadoopversion1升级到hadoopversion2。有人能告诉我(如果你尝试过hadoopversion2),在version2中mr/hive/pig作业的性能比version1有什么改进吗?
w9apscun1#
这是apache的笔记。这些都是改进的亮点。下面是对hdfs和mapreduce的改进的简短概述。hdfs联合为了横向扩展名称服务,联合使用多个独立的名称节点/名称空间。namenodes是联合的,也就是说,namenodes是独立的,不需要相互协调。datanodes被所有namenodes用作块的公共存储。每个datanode向集群中的所有namenodes注册。datanodes定期发送心跳和块报告,并处理namenodes发出的命令。更多细节可以在hdfs联合文档中找到。mapreduce nextgen aka yarn aka mrv2 hadoop-0.23中引入的新体系结构将jobtracker的两个主要功能:资源管理和作业生命周期管理划分为单独的组件。新的resourcemanager管理计算资源到应用程序的全局分配,每个应用程序的applicationmaster管理应用程序äô时间安排和协调。应用程序要么是经典mapreduce作业意义上的单个作业,要么是此类作业的dag。resourcemanager和每台机器nodemanager守护进程(管理该机器上的用户进程)构成了计算结构。每个应用程序applicationmaster实际上是一个特定于框架的库,其任务是与resourcemanager协商资源,并与nodemanager协作执行和监视任务。
1条答案
按热度按时间w9apscun1#
这是apache的笔记。这些都是改进的亮点。
下面是对hdfs和mapreduce的改进的简短概述。
hdfs联合为了横向扩展名称服务,联合使用多个独立的名称节点/名称空间。namenodes是联合的,也就是说,namenodes是独立的,不需要相互协调。datanodes被所有namenodes用作块的公共存储。每个datanode向集群中的所有namenodes注册。datanodes定期发送心跳和块报告,并处理namenodes发出的命令。
更多细节可以在hdfs联合文档中找到。
mapreduce nextgen aka yarn aka mrv2 hadoop-0.23中引入的新体系结构将jobtracker的两个主要功能:资源管理和作业生命周期管理划分为单独的组件。
新的resourcemanager管理计算资源到应用程序的全局分配,每个应用程序的applicationmaster管理应用程序äô时间安排和协调。
应用程序要么是经典mapreduce作业意义上的单个作业,要么是此类作业的dag。
resourcemanager和每台机器nodemanager守护进程(管理该机器上的用户进程)构成了计算结构。
每个应用程序applicationmaster实际上是一个特定于框架的库,其任务是与resourcemanager协商资源,并与nodemanager协作执行和监视任务。