缺少副本和复制不足块之间的区别

vuktfyat  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(669)

我知道,由于相对于复制因子集的数据节点数较少,所以会出现复制不足块和复制错误块。
但是它们之间有什么区别呢?
在将复制因子重新设置为1(其中可用数据节点为1)时,复制块下和缺少的复制错误都被清除。通过执行hdfs fsck命令确保了这一点/

7fhtutme

7fhtutme1#

摘自tom white的“hadoop:权威指南”:
过度复制块这些块超出了它们所属文件的目标复制。通常,过度复制不是问题,hdfs会自动删除多余的副本。
在“复制块”下,这些块不符合它们所属文件的目标复制。hdfs将自动为复制不足的块创建新的副本,直到它们满足目标复制要求。您可以使用hdfs dfsadmin-metasave获取有关正在复制(或等待复制)的块的信息。
误报块这些块不满足块副本放置策略(请参阅副本放置)。例如,对于多机架群集中的三个复制级别,如果一个块的所有三个副本都在同一机架上,则该块会被误报,因为副本应至少分布在两个机架上以实现恢复能力。hdfs将自动重新复制错误的块,以便它们满足机架放置策略。
损坏的块这些块的副本都已损坏。具有至少一个非损坏副本的块不会报告为损坏;namenode将复制非损坏的复制副本,直到满足目标复制。
缺少副本这些块在群集中的任何位置都没有副本。
希望这能回答你的问题。

相关问题