辅助namenode和被动namenode有什么区别

t2a7ltrp  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(438)

我们在namenode的highavailability中使用的其他namenode是什么?hadoop联邦中使用的其他namenode是什么?我很困惑

6ojccjat

6ojccjat1#

希望这些信息能解决你的困惑
1) 名称节点:
namenode保存hdfs命名空间信息、块信息等的元数据。namenode将hdfs文件系统信息存储在名为fsimage的文件中。对文件系统的更新(添加/删除块)不会更新fsimage文件,它将被附加到编辑日志中,fsimage包含块到文件的Map以及名为snapshot of namenode的其他文件系统属性。重新启动时,namenode读取fsimage,然后应用日志文件中的所有更改,使内存中的文件系统状态更新。
2) 次要名称节点:
辅助namenode定期提取这两个(edits nd fsimage)文件,namenode开始将更改写入新的edits文件。然后,secondary namenode将edits文件中的更改与fsimage文件中的旧快照合并,并创建更新的fsimage文件。然后将更新的fsimage文件复制到namenode。
3) 故障转移namenode或被动namenode(仅在启用ha时)::在hadoop 2.0.0之前,namenode是hdfs集群中的单点故障(spof)。每个集群都有一个namenode,如果该计算机或进程不可用,则整个集群将不可用,直到namenode重新启动或在单独的计算机上启动。通过提供在ha集群中运行两个冗余namenode的选项来解决上述问题,备用/被动namenode还执行名称空间状态的检查点,因此不需要在ha集群中运行辅助namenode、checkpointnode或backupnode。事实上,这样做是错误的。

相关问题