高可用性—hadoop namenode ha和hdfs federation之间有什么区别

zyfwsgd6  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(447)

我对使用qjm和hdfs联邦的hadoopnamenodeha有点困惑。两者都使用多个namenode,并且都提供了高可用性。我无法决定使用哪种体系结构来实现namenode的高可用性,因为除了qjm之外,这两种体系结构看起来完全相同。
如果这不是我们要讨论的问题,请原谅。

ygya80vv

ygya80vv1#

hdfs高可用性和hdfs联合体之间的主要区别在于联合体中的namenodes彼此不相关。
在hdfs联合中,所有namenodes共享一个元数据池,其中每个namenode都有自己的池,因此提供了容错性,即如果联合中的一个namenode失败,它不会影响其他namenodes的数据。
所以,联合=多个namenodes,没有关联。
而在hdfs-ha的情况下,有两个名称节点-主nn和备用nn。主nn一直在努力工作,每次当备用nn只是坐在那里,冷却和更新它的元数据相对于主namenode一次,使他们相关。当主nn厌倦了这个通常的工作表(即它失败了)时,备用namenode将接管它拥有的任何最新元数据。
对于ha架构,您至少需要将两台独立的计算机配置为namenode,其中只有一台应在活动状态下运行。
更多细节:hdfs高可用性

相关问题