hdfs+什么是造成副本块不足的主要原因

bq3bfh9z  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(302)

我只是想知道什么是造成复制块不足的主要原因
我们有hdp版本的ambari集群- 2.6.5 数据节点计算机的数量为- 5
因为它总是至少有三份拷贝,我想这是很难做到的(但会发生)
如果hdfs不能创建一个拷贝或检测到损坏,它不会尝试通过将一个好的拷贝复制到另一个datanode来恢复吗?
或者,一旦在hdfs中正确创建了一个文件,在hdfs重新启动之前,它是否从不检查文件是否损坏?
要修复副本不足,我们可以使用以下步骤:

su hdfs
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files 
for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done

怎样 hadoop fs -setrep 3 ,是工作吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题