bash—在hadoop目录中查找最大文件的命令

u4vypkhs  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(625)

我试图在hadoop文件系统的给定目录中找到最大的文件。我找到了这个链接:http://www.tecmint.com/find-top-large-directories-and-files-sizes-in-linux/,它显示了以下用于查找最大文件的命令:

find /home/tecmint/Downloads/ -type f -exec du -Sh {} + | sort -rh | head -n 5

但当我跑的时候

hadoop fs -find [hadoop location] -type f -exec du -Sh {} + | sort -rh | head -n 5

我得到了 find: Unexpected argument: -type .
我也跑了 hadoop fs -du -a | sort -n | head -n 1 但是我得到的结果不是目录中最大的文件。如果有任何帮助,我将不胜感激。

fcipmucu

fcipmucu1#

在linux中,您可以运行以下命令来查找桌面目录中最大的文件,如果要查找大小最小的文件,请删除sort的-r参数!

du ~/Desktop/* | sort -n -r | head -n 1

对于hdfs,您可以尝试以下命令

hadoop fs -du <Path-in-HDFS> | sort -n -r | head -n 1

相关问题