fs.checkpoint.dir和dfs.name.dir之间有什么区别?

qcbq4gxm  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(633)

主要使用dfs.name.dir属性将namenode的fsimage存储到特定位置进行备份,fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。谁能给我详细解释一下吗。

zazmityj

zazmityj1#

dfs.name.dir namenode在磁盘中存储fsimage和editlogs的位置。这是一个强制位置。没有这个位置,hadoop集群将无法启动。这将位于namenode主机中。 fs.checkpoint.dir 是本地文件系统上的目录,dfs次名称节点应在其中存储要合并的临时映像。如果这是一个以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余。这不是一个强制性的位置。如果没有这个目录,hadoop集群也会启动。这将位于辅助namenode主机中。
fsimage和edit日志通过secondary namenode定期合并。如果不存在次映像,则fsimage和editlogs的合并将仅在namenode重新启动时发生。
第二个namenode的解释可以在这篇博文中找到

pbgvytdp

pbgvytdp2#

dfs.name.dir目录
它已被弃用并替换为dfs.namenode.name.dir。它确定dfs名称节点应在本地文件系统的何处存储名称表(fsimage)。如果这是一个以逗号分隔的目录列表,那么名称表将复制到所有目录中,以实现冗余。
名称节点使用此属性。
fs.checkpoint.dir目录
它已被弃用并替换为dfs.namenode.checkpoint.dir。它确定dfs次名称节点应在本地文件系统上的何处存储要合并的临时映像。如果这是一个以逗号分隔的目录列表,则会在所有目录中复制映像以实现冗余。
次名称节点定期合并fsimage和编辑日志文件,并将编辑日志大小保持在限制范围内。它通常在与主名称节点不同的计算机上运行,因为它的内存需求与主名称节点的顺序相同。
次名称节点将最新检查点存储在与主名称节点的目录结构相同的目录中。以便在必要时,检查点图像始终可以由主名称节点读取。
namenode将从dfs.namenode.checkpoint.dir目录上载检查点,然后将其保存到dfs.namenode.name.dir中设置的namenode目录。
如果合法映像包含在dfs.namenode.name.dir中,namenode将失败。
namenode验证dfs.namenode.checkpoint.dir中的映像是否一致,但不以任何方式修改它。
请参阅hdfs用户指南

相关问题