如何查看整个根hdfs磁盘的使用情况(hadoop dfs-du/get子文件夹)

zvokhttg 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(470)

我们也许已经不出所料地给出了大数据对业务的吸引力，这是我们希望在hadoop集群上监视的磁盘空间问题。
我有一个cron作业正在运行，它正在做我想要的事情，只是我希望其中一个输出行显示使用的总体空间。换句话说，在bash中，“du/”命令的最后一行显示整个磁盘上所有子文件夹的总使用量。我喜欢这种行为。
但是，当前当我运行“hadoopdfs-du/”时，我只得到子目录信息，而没有得到总目录信息。
最好的办法是什么？非常感谢大家：）。

hadoop hdfs bash

来源：https://stackoverflow.com/questions/25146902/how-to-see-entire-root-hdfs-disk-usage-hadoop-dfs-du-gets-subfolders

2条答案

按热度按时间

rn0zuynd1#

我只是没有正确理解文件！下面是获得总使用空间的答案；

$ hadoop dfs -dus /
hdfs://MYSERVER.com:MYPORT/ 999
$ array=(`hadoop dfs -dus /`)
$ echo $array
hdfs://MYURL:MYPORT/
$ echo ${array[1]} ${array[0]}
999 hdfs://MYURL:MYPORT/

参考文献；文件系统外壳指南http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html#du //编辑；还更正了报告顺序，使之与原件相符。

赞(0）回复(0）举报 2021-06-04

v09wglhw2#

hadoop fs-du-s-h/路径
这会给你一个总结。
对于整个集群，您可以尝试：
hdfs dfsadmin-报告
您可能需要与hdfs用户一起运行。

赞(0）回复(0）举报 2021-06-04