如果在伪模式集群上将复制因子设置为3会发生什么?

eqzww0vc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(408)

我尝试将复制更改为3,我可以看到我加载到hdfs的文件的复制更改为3,但是我看不到其他2个副本。有人能回答这个场景中发生的情况吗。

gk7wooem

gk7wooem1#

如果没有其他节点来创建副本,则不会看到任何副本。不能在同一节点中创建副本。但在你的名字节点你会看到 Number of Under-Replicated Blocks 公制不同于零。如果您在集群中进一步附加一个新的数据节点,那么复制不足的块应该自动启动复制(显然这意味着要配置一个完整的集群,而不是伪集群)。
你可以看到 Number of Under-Replicated Blocks 名称节点web ui中的度量:http://localhost:50070/dfshealth.html#选项卡概述(默认情况下,在伪集群配置中)。

aamkag61

aamkag612#

建议将dfs.replication设置为“1”,否则在运行单个datanode或psuedodistributed模式时,hdfs无法将块复制到指定数量的datanode,并且会警告正在复制的块

相关问题