这是apache的笔记。这些都是改进的亮点。
下面是对hdfs和mapreduce的改进的简短概述。
hdfs联合为了横向扩展名称服务，联合使用多个独立的名称节点/名称空间。namenodes是联合的，也就是说，namenodes是独立的，不需要相互协调。datanodes被所有namenodes用作块的公共存储。每个datanode向集群中的所有namenodes注册。datanodes定期发送心跳和块报告，并处理namenodes发出的命令。
更多细节可以在hdfs联合文档中找到。
mapreduce nextgen aka yarn aka mrv2 hadoop-0.23中引入的新体系结构将jobtracker的两个主要功能：资源管理和作业生命周期管理划分为单独的组件。
新的resourcemanager管理计算资源到应用程序的全局分配，每个应用程序的applicationmaster管理应用程序äô时间安排和协调。
应用程序要么是经典mapreduce作业意义上的单个作业，要么是此类作业的dag。
resourcemanager和每台机器nodemanager守护进程（管理该机器上的用户进程）构成了计算结构。
每个应用程序applicationmaster实际上是一个特定于框架的库，其任务是与resourcemanager协商资源，并与nodemanager协作执行和监视任务。