hadoop的跟腱

f87krz0w  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(751)

我刚刚读了这个hadoop tuorial,说明hadoop有跟腱(单点故障) JobTracker :
jobtracker是hadoopmapreduce服务的单点故障,这意味着如果jobtracker关闭,所有正在运行的作业都将停止。
本文还指出 NameNode 是spof:
hadoop集群中的单点故障是namenode。
单点故障很糟糕,对吧?可以采取哪些策略/技术/工具等来规避这些spof,使hadoop变得冗余、容错和有弹性(流行语alert!)?

3b6akqbq

3b6akqbq1#

hdfs和mapreduce是hadoop的核心组件,在早期的apachehadoop版本中,namenode和jobtracker是spof(只能配置一个示例)。这个问题已从Hadoop2.x中修复。
求职者哈。
jobtracker ha可以通过配置2来实现 Jobtracker(JT) 中的示例 Active - Standby 两个节点上的模式。如果一个jt宕机,第二个jobtracker将可用于服务请求。一次只有一个jobtracker(active)可用于服务请求,第二个jt(standby)将以只读模式运行。jobtracker ha需要zookeeper示例,故障转移(切换)可以配置为manaul或automcatic。自动故障转移需要另一个名为 Failover Controller (FC) . 在当前版本中,如果活动jt失败,所有正在运行的作业都将停止,但是新作业将自动提交给新jt。此功能在当前版本中不可用。 MR2 是使用Yarn的第二代mapreduce, Resource Manager(RM) 是yarn中的主服务,rm也可以配置为主备模式。rm故障不会影响正在运行的作业/应用程序。
名称节点ha
namenode ha很重要。namenode ha也可以在活动待机模式下配置(最多2个namenode示例)。 Quorum based Journaling 是被广泛接受的方法,内部使用zookeeper。一次只有一个namenode处于活动状态。 Secondary Namenode(SNN) 不是一个 Standby Namenode(SN) 反之亦然,snn在非ha配置中有不同的功能,namenode ha设置不需要snn,因为sn namenode执行检查点(snn的功能) Processes Namenode HA 活动名称节点
备用名称节点
故障转移控制器:用于隔离,以避免大脑分裂的情况。
JournalNodes(至少需要3个示例):名称空间修改将被记录到日志节点,备用名称节点从那里读取。为了避免大脑分裂的问题,一次只允许一个namenode写入。

2w3kk1z5

2w3kk1z52#

High availability hadoop内置的机制已经有一段时间了secondary namenode“,”backup jobtracker“将作为各自对应项的热备份。
过去的大多数“spof”都在最近的hadoop版本中被消除了。
下面的文档对此进行了深入的解释。
hortonworks哈博士
cloudera ha文件
希望有帮助。

相关问题