我们有一个主节点和7个工作节点的dataproc集群。所有工作节点都有一个引导磁盘和一个375 gb(sdb)的本地磁盘。工作节点0、1、2、3的sdb(mounted on/mnt/1)磁盘利用率已达到85%以上,5、6、7的磁盘利用率也逐渐提高到85%。
我们发现下面目录下的文件占了主要部分(304g)
/mnt/1/hadoop/dfs/data/current/bp-x-xx.xx.x-x/current/finalized。
我们发现它的文件夹如下
drwxrwxr-x 4 hdfs hdfs 4.0K Jul 24 16:11 ..
drwxrwxr-x 34 hdfs hdfs 4.0K Jul 26 15:20 subdir0
drwxrwxr-x 34 hdfs hdfs 4.0K Aug 8 13:19 subdir1
drwxrwxr-x 34 hdfs hdfs 4.0K Aug 10 08:16 subdir2
drwxrwxr-x 34 hdfs hdfs 4.0K Aug 17 22:16 subdir3
drwxrwxr-x 34 hdfs hdfs 4.0K Aug 23 02:49 subdir4
drwxrwxr-x 34 hdfs hdfs 4.0K Aug 27 20:30 subdir5
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 2 08:30 subdir6
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 7 02:21 subdir7
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 12 18:00 subdir8
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 16 22:46 subdir9
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 23 02:45 subdir10
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 28 22:31 subdir11
drwxrwxr-x 34 hdfs hdfs 4.0K Oct 3 19:15 subdir12
drwxrwxr-x 34 hdfs hdfs 4.0K Oct 8 13:30 subdir13
drwxrwxr-x 17 hdfs hdfs 4.0K Oct 12 15:35 .
drwxrwxr-x 34 hdfs hdfs 4.0K Oct 13 04:46 subdir14
cd子项6
ls-总计688k
drwxrwxr-x 34 hdfs hdfs 4.0K Sep 2 08:30 .
drwxrwxr-x 2 hdfs hdfs 20K Sep 5 22:35 subdir0
drwxrwxr-x 2 hdfs hdfs 20K Sep 5 22:51 subdir1
drwxrwxr-x 2 hdfs hdfs 20K Sep 5 23:34 subdir2
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 00:28 subdir4
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 00:50 subdir5
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 01:36 subdir6
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 01:50 subdir7
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 02:21 subdir8
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 02:50 subdir9
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 03:19 subdir10
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 03:38 subdir11
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 04:19 subdir12
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 04:38 subdir13
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 05:20 subdir14
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 05:49 subdir15
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 06:19 subdir16
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 07:20 subdir18
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 08:06 subdir20
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 08:24 subdir21
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 08:50 subdir22
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 09:23 subdir23
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 09:39 subdir24
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 10:05 subdir25
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 10:26 subdir26
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 11:02 subdir27
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 11:36 subdir28
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 12:04 subdir29
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 12:24 subdir30
drwxrwxr-x 2 hdfs hdfs 20K Sep 6 12:53 subdir31
drwxrwxr-x 2 hdfs hdfs 20K Sep 10 16:12 subdir17
drwxrwxr-x 2 hdfs hdfs 20K Sep 12 16:13 subdir3
drwxrwxr-x 2 hdfs hdfs 20K Sep 13 16:13 subdir19
drwxrwxr-x 17 hdfs hdfs 4.0K Oct 12 15:35 ..
x/当前/最终/细分市场6#cd细分市场0 xx/当前/最终/细分市场6/细分市场0#ls-总计726m
-rw-rw-r-- 1 hdfs hdfs 39K Sep 1 18:35 blk_1074135056_394248.meta
-rw-rw-r-- 1 hdfs hdfs 4.8M Sep 1 18:35 blk_1074135056
-rw-rw-r-- 1 hdfs hdfs 38K Sep 1 18:36 blk_1074135053_394245.meta
-rw-rw-r-- 1 hdfs hdfs 4.8M Sep 1 18:36 blk_1074135053
-rw-rw-r-- 1 hdfs hdfs 40K Sep 1 18:36 blk_1074135055_394247.meta
-rw-rw-r-- 1 hdfs hdfs 5.0M Sep 1 18:36 blk_1074135055
-rw-rw-r-- 1 hdfs hdfs 39K Sep 1 18:36 blk_1074135049_394241.meta
-rw-rw-r-- 1 hdfs hdfs 4.9M Sep 1 18:36 blk_1074135049
-rw-rw-r-- 1 hdfs hdfs 45K Sep 1 18:38 blk_1074135057_394249.meta
-rw-rw-r-- 1 hdfs hdfs 5.6M Sep 1 18:38 blk_1074135057
-rw-rw-r-- 1 hdfs hdfs 39K Sep 1 18:47 blk_1074135070_394262.meta
-rw-rw-r-- 1 hdfs hdfs 4.8M Sep 1 18:47 blk_1074135070
-rw-rw-r-- 1 hdfs hdfs 24K Sep 1 18:47 blk_1074135097_394289.meta
-rw-rw-r-- 1 hdfs hdfs 2.9M Sep 1 18:47 blk_1074135097
-rw-rw-r-- 1 hdfs hdfs 36K Sep 1 18:49 blk_1074135141_394333.meta
-rw-rw-r-- 1 hdfs hdfs 4.5M Sep 1 18:49 blk_1074135141
-rw-rw-r-- 1 hdfs hdfs 23K Sep 1 18:49 blk_1074135142_394334.meta
-rw-rw-r-- 1 hdfs hdfs 2.9M Sep 1 18:49 blk_1074135142
-rw-rw-r-- 1 hdfs hdfs 36K Sep 1 18:49 blk_1074135134_394326.meta
-rw-rw-r-- 1 hdfs hdfs 4.5M Sep 1 18:49 blk_1074135134
-rw-rw-r-- 1 hdfs hdfs 38K Sep 1 18:50 blk_1074135071_394263.meta
3条答案
按热度按时间yrwegjxp1#
您列出的目录由hdfs使用,您可以在主节点上运行以下命令,以确定哪些hdfs文件正在占用空间:
可以使用删除不需要的文件
请参阅《hdfs命令指南》中的更多详细信息。还有一些不错的脚本和工具可能会有用。
注意
/user/spark/eventlog
以及/tmp/hadoop-yarn/staging/history
,它们通常会随着你做更多的工作而增长。增加hdfs容量
在标识和删除不需要的文件之前,为了防止hdfs耗尽空间,可以向集群添加更多工作节点作为缓解措施:
请参阅scaling dataproc clusters中的更多详细信息。
spark事件日志
如果它是由spark事件日志或历史文件引起的,对于实时集群,请考虑在中添加这些属性
/etc/spark/conf/spark-defaults.conf
:然后用重新启动spark history server
它会帮你清理旧文件。您可以将间隔更改为较小的值,例如。,
10m
如果你想让它运行得更频繁。对于新群集,请添加以下属性
请参阅相关spark配置上的此文档。顺便说一句,您可以在dataprocwebui中查看spark作业历史记录,在清理一些旧的历史记录文件后,您应该可以看到较少的项目。
1yjd4xko2#
-------很多这样的文件
envsm3lx3#
我们能删除那些文件吗?
这些文件的目的是什么?
最好的删除方法是什么?
非常感谢你的信息。我已经执行了命令。
事件日志似乎占用了近1tb的空间
=================以上是修剪输出。其余6个节点的磁盘使用率几乎相同。
删除事件日志是否安全?我的意思是它会妨碍任何正在运行的作业或集群吗?
我运行下面的命令,以找出有多少文件,我发现它是巨大的。
~#hadoop fs-du-h/user/spark/eventlog | wc-l
236757
所有文件的大小都接近5~6mb。是否有任何命令,我可以删除匹配的文件,至少是7天的旧?