hdfs在数据节点失败后的恢复

5q4ezhmt  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(323)

我有一个4节点的hadoop集群,有2个主节点和2个数据节点。我在这个群里有很多文件。我的一个数据节点崩溃了(从aws控制台意外终止)。因为我有复制因子1,所以我假设这不会导致任何数据丢失。我添加了新节点,并将其作为数据节点。但现在我的 hdfs dfsadmin -report 说有很多积木不见了。为什么会这样?我怎样才能从这里恢复过来?我不能做fsck-删除,因为这些文件对我很重要。当我尝试从这个集群到另一个新创建的集群进行distcp时,我得到了丢失的块异常。添加新数据节点后是否需要执行任何步骤?

4nkexdtk

4nkexdtk1#

hadoop上建议的复制因子是3。如果值为1,则根本无法获得任何副本,因此丢失了一些数据!

相关问题