如何根据集群中磁盘的总大小计算hdfs集群的可用大小？e、 g.如果我的集群是10台机器，每台机器有1tb的存储空间，那会是什么 hadoop fs -df 报告？更具体地说，我需要在hdfs集群中存储5tb的数据。我的群集总共需要多少磁盘空间？
hadoop fs -df
7cjasjjr1#
这完全取决于如何设置hdfs复制因子。默认值（推荐值）为3。您还可以设置hdfs来保留一些非dfs空间，因此，如果需要，可以减去它。粗略的计算几乎总是正确的 file size * 3 = total storage needed .
file size * 3 = total storage needed
1条答案
按热度按时间7cjasjjr1#
这完全取决于如何设置hdfs复制因子。默认值（推荐值）为3。
您还可以设置hdfs来保留一些非dfs空间，因此，如果需要，可以减去它。
粗略的计算几乎总是正确的
file size * 3 = total storage needed.