我有一个独立的apachehadoop设置,namenode和datanode在同一台机器上运行。我现在运行的是在ubuntu16.04上运行的apachehadoop2.6(我无法升级)。虽然我的系统还有超过400GB的硬盘空间,但是我的hadoop Jmeter 板显示出了100%。为什么ApacheHadoop不占用剩余的可用磁盘空间?有人能帮我找出解决办法吗。
wko9yo5t1#
可能有某些原因。您可以尝试以下步骤:转到$hadoop\u home/bin./hadoop-daemon.sh—配置$hadoop\u home/conf start datanode那么你可以试试下面的方法things:-如果namenode和datanode目录以外的任何目录占用了太多空间,您可以开始清理,也可以运行hadoopfs-du-s-h/user/hadoop(查看目录的用法)。识别所有不必要的目录,并通过运行hadoop fs-rm-r/user/hadoop/raw\u data来开始清理(-rm是删除-r是递归删除,使用-r时要小心)。运行hadoopfs-expunge(要立即清理垃圾,有时需要多次运行)。运行hadoop fs-du-s-h/(它将为您提供整个文件系统的hdfs使用情况,或者您也可以运行dfsadmin-report来确认是否回收了存储)很多时候它会显示丢失的块(使用复制1)。
1条答案
按热度按时间wko9yo5t1#
可能有某些原因。
您可以尝试以下步骤:
转到$hadoop\u home/bin
./hadoop-daemon.sh—配置$hadoop\u home/conf start datanode
那么你可以试试下面的方法things:-
如果namenode和datanode目录以外的任何目录占用了太多空间,您可以开始清理,也可以运行hadoopfs-du-s-h/user/hadoop(查看目录的用法)。
识别所有不必要的目录,并通过运行hadoop fs-rm-r/user/hadoop/raw\u data来开始清理(-rm是删除-r是递归删除,使用-r时要小心)。
运行hadoopfs-expunge(要立即清理垃圾,有时需要多次运行)。
运行hadoop fs-du-s-h/(它将为您提供整个文件系统的hdfs使用情况,或者您也可以运行dfsadmin-report来确认是否回收了存储)
很多时候它会显示丢失的块(使用复制1)。