我刚刚读了这个hadoop tuorial,说明hadoop有跟腱(单点故障) JobTracker
:
jobtracker是hadoopmapreduce服务的单点故障,这意味着如果jobtracker关闭,所有正在运行的作业都将停止。
本文还指出 NameNode
是spof:
hadoop集群中的单点故障是namenode。
单点故障很糟糕,对吧?可以采取哪些策略/技术/工具等来规避这些spof,使hadoop变得冗余、容错和有弹性(流行语alert!)?
我刚刚读了这个hadoop tuorial,说明hadoop有跟腱(单点故障) JobTracker
:
jobtracker是hadoopmapreduce服务的单点故障,这意味着如果jobtracker关闭,所有正在运行的作业都将停止。
本文还指出 NameNode
是spof:
hadoop集群中的单点故障是namenode。
单点故障很糟糕,对吧?可以采取哪些策略/技术/工具等来规避这些spof,使hadoop变得冗余、容错和有弹性(流行语alert!)?
2条答案
按热度按时间3b6akqbq1#
hdfs和mapreduce是hadoop的核心组件,在早期的apachehadoop版本中,namenode和jobtracker是spof(只能配置一个示例)。这个问题已从Hadoop2.x中修复。
求职者哈。
jobtracker ha可以通过配置2来实现
Jobtracker(JT)
中的示例Active - Standby
两个节点上的模式。如果一个jt宕机,第二个jobtracker将可用于服务请求。一次只有一个jobtracker(active)可用于服务请求,第二个jt(standby)将以只读模式运行。jobtracker ha需要zookeeper示例,故障转移(切换)可以配置为manaul或automcatic。自动故障转移需要另一个名为Failover Controller (FC)
. 在当前版本中,如果活动jt失败,所有正在运行的作业都将停止,但是新作业将自动提交给新jt。此功能在当前版本中不可用。MR2
是使用Yarn的第二代mapreduce,Resource Manager(RM)
是yarn中的主服务,rm也可以配置为主备模式。rm故障不会影响正在运行的作业/应用程序。名称节点ha
namenode ha很重要。namenode ha也可以在活动待机模式下配置(最多2个namenode示例)。
Quorum based Journaling
是被广泛接受的方法,内部使用zookeeper。一次只有一个namenode处于活动状态。Secondary Namenode(SNN)
不是一个Standby Namenode(SN)
反之亦然,snn在非ha配置中有不同的功能,namenode ha设置不需要snn,因为sn namenode执行检查点(snn的功能)Processes Namenode HA
活动名称节点备用名称节点
故障转移控制器:用于隔离,以避免大脑分裂的情况。
JournalNodes(至少需要3个示例):名称空间修改将被记录到日志节点,备用名称节点从那里读取。为了避免大脑分裂的问题,一次只允许一个namenode写入。
2w3kk1z52#
有
High availability
hadoop内置的机制已经有一段时间了secondary namenode“,”backup jobtracker“将作为各自对应项的热备份。过去的大多数“spof”都在最近的hadoop版本中被消除了。
下面的文档对此进行了深入的解释。
hortonworks哈博士
cloudera ha文件
希望有帮助。