在hdfs中，我需要递归地检查文件并只打印那些大于1tb的文件。目前我正在使用下面的命令存储文件的信息，然后使用java代码只打印大小大于1 tb的文件
hadoop fs -ls -R Path > filesInfo.txt
是否有任何直接命令可以使用或hadoop文件系统提供？
scyqe7ek1#
你可以用 hdfd dfs -du -h -R <path> >>/tmp/file.txt 获取文件大小，然后删除1tb以上的文件。
hdfd dfs -du -h -R <path> >>/tmp/file.txt
1条答案
按热度按时间scyqe7ek1#
你可以用
hdfd dfs -du -h -R <path> >>/tmp/file.txt获取文件大小，然后删除1tb以上的文件。