hadoop中的hdfs容错

af7jpaap  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(392)

我们知道,在hadoop中,如果数据被破坏,就会突然创建一个新的副本,如果最初关闭的节点工作正常,那么namenode将如何处理4个副本它会删除一个节点吗?
如果是新创造的还是突然出现的?

xoefb8l8

xoefb8l81#

namenode负责过度复制块,您不必担心过度复制块或手动执行任何操作。
namenode从可用磁盘空间较少的节点上删除多个复制块。。最终有助于集群的重新平衡。

tnkciper

tnkciper2#

当一个人 data node 下降了, name node 将看到一些数据块 under-replicated 并将开始复制到群集中的其他节点,以将复制恢复到预期级别(默认值3)。
当损坏的节点再次启动时,来自该节点的所有块都将被视为 over-replicated 有4个副本。
当一个街区变成 over-replicated ,的 name node 选择要删除的复制副本。这个 name node 不希望减少承载复制副本的机架数量,而希望从 data node 用最少的可用磁盘空间。这可能有助于重新平衡集群上的负载。

相关问题