hadoop使用较小的硬盘驱动器添加datanode

ljsrvy3e 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(327)

我们计划在hadoop集群中添加两个新的datanode。在谷歌搜索了一天之后，我仍然无法回答这个问题：如果新数据节点上的硬盘变小了，会发生什么？这会导致HDF的总大小变小吗？
下面是一个例子

Datanode1 with 1TB
Datanode2 with 1TB
Total storage = 2TB

使用500gb磁盘再添加一个节点

Datanode3 with 500GB

hdfs的总存储空间是多少？2.5tb还是1.5tb？
如果是2.5tb（我希望如此），hadoop如何平衡不同数据节点和不同硬盘之间的存储？

hadoop hdfs

来源：https://stackoverflow.com/questions/19277079/hadoop-adding-datanode-with-smaller-hard-drives

1条答案

按热度按时间

2ekbmq321#

hdfs的总容量将为2.5 tb。现有的块将按原样存在，一旦添加到集群中，就不会移动到新节点。要将一些块从重载节点移动到欠载节点，请使用 bin/start-balancer.sh 以及 bin/stop-balancer-sh hadoop安装中的脚本。
块放置策略将决定时钟的位置。因为新的节点hdd是空的，所以放入hdfs的新文件块有更好的可能性到达那里。

赞(0）回复(0）举报 2021-06-03

我来回答

hadoop使用较小的硬盘驱动器添加datanode

1条答案

相关问题

热门标签

最新问答