如何确定hadoop集群上namenode维护的元数据的大小?

w80xi6nr  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(427)

我在hadoop集群上放了100个文件。我想确定namenode维护的与这些文件对应的元数据的大小。

k2arahey

k2arahey1#

我相信您所说的元数据是关于存储在datanode中的数据块的信息。所有这些细节都将保存在namenode内存ram中。
namenode对于块元数据存储消耗大约150字节,对于文件元数据存储消耗大约150字节。因此,假设集群块大小为128mb,100个文件的大小都在100mb左右。然后每个文件在namenode中消耗300字节的内存。name节点将消耗300*100=30000字节的数据。这是考虑到复制是1x。
这里做了详细的讨论。

相关问题