首先，我看到我正在运行的作业是由一个应用程序主节点处理的，它不是一个主节点（不同的ip地址）。因此，我认为我的作业只由一个节点处理。但当我检查Map程序作业的处理位置时，它们实际上是由其他从属节点处理的。
我有点困惑，因为我认为主节点也将是应用程序主节点，它将处理作业管理。但在这种情况下，情况并非如此。
有人能帮助我理解为什么我的作业的当前管理是由从属节点（称为应用程序主节点）处理的，而不是由主节点处理的吗？
另一个问题是hadoop中的主节点被认为是单点故障，但是当我们有一个辅助节点时，它就可以了。对于应用程序主节点的情况，是否也应将其视为单点故障？因为如果从属节点坏了，我知道它没有备份。
非常感谢你。
2条答案
按热度按时间zynd9foi1#
hadoop2使用两级体系结构：
rm为每个作业安排资源，rm将管理每个作业。
应用程序主应用单个作业的资源，并为作业的任务安排应用的资源。不同的作业将使用不同类型的应用程序主机，如mapreduceam、sparkam
至于mapreduce作业，如果作业的mapreduceam失败，yarn将为该作业启动一个新的mapreduceam，直到该作业失败三次。
更多细节可以在hadoopwiki上看到
bnlyeluc2#
应用程序主节点与主节点或从节点的意义不同—它不代表集群中的机器。应用程序主控程序是用于管理特定应用程序的流程。它们通常在从属节点上运行。然而，它不是一个单一的故障点，因为它不是一台机器，而是一个过程。如果主应用程序失败，Yarn将启动一个新的主应用程序。