datanode处于死状态,因为dfs使用率为100%

vddsk6oq  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(449)

我有一个独立的apachehadoop设置,namenode和datanode在同一台机器上运行。
我现在运行的是在ubuntu16.04上运行的apachehadoop2.6(我无法升级)。
虽然我的系统还有超过400GB的硬盘空间,但是我的hadoop Jmeter 板显示出了100%。
为什么ApacheHadoop不占用剩余的可用磁盘空间?有人能帮我找出解决办法吗。


wko9yo5t

wko9yo5t1#

可能有某些原因。
您可以尝试以下步骤:
转到$hadoop\u home/bin
./hadoop-daemon.sh—配置$hadoop\u home/conf start datanode
那么你可以试试下面的方法things:-
如果namenode和datanode目录以外的任何目录占用了太多空间,您可以开始清理,也可以运行hadoopfs-du-s-h/user/hadoop(查看目录的用法)。
识别所有不必要的目录,并通过运行hadoop fs-rm-r/user/hadoop/raw\u data来开始清理(-rm是删除-r是递归删除,使用-r时要小心)。
运行hadoopfs-expunge(要立即清理垃圾,有时需要多次运行)。
运行hadoop fs-du-s-h/(它将为您提供整个文件系统的hdfs使用情况,或者您也可以运行dfsadmin-report来确认是否回收了存储)
很多时候它会显示丢失的块(使用复制1)。

相关问题