一个hdfs上有3个复制的文件将存储在3个主机上?

xxslljrj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(275)


hdfs上有3个复制的文件将存储在3台主机上?或者存储在3台主机上?

kxeu7u2r

kxeu7u2r1#

一个复制因子为3的文件将其所有的块一起组成它,存储三次(hdfs存储块,而不是文件)。如果有3个节点(如图的顶部),则每个块将在每个节点中存储一次。如果您有一个节点,那么所有的块都将存储在同一个节点中(一次,正如brandon.bell所评论的)。如果您有5个节点,并且每个文件使用多个块(如图底部所示),那么,是的,将使用3个以上的节点。
原因是容错。假设任何两个主机都无法访问(在下图中),您仍然可以检索构成文件的所有块。例如,如果host4和host5失败,那么您仍然可以从host1检索block1,从host2检索block2。
有关更多详细信息,请参阅本文档。在这篇文章中,我还发现了一个关于hadoop复制的漫画。

相关问题