hdfsapi-计算目录、文件和字节的数量

niwlg2el 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(308)

在scala/java中，如何以编程方式获得hdfs中的dir\u count、file\u count、content\u size file\u name(不穿过外壳）

val fileStatus = fileSystem.getFileStatus(new Path(path))
val fileByteSize = fileStatus.getLen

文件系统api似乎没有这些信息。我只能得到1个文件的文件大小（上面的代码）。但是我没有得到每个目录的文件计数和字节大小。
我正在寻找类似的行为：

hdfs dfs -count [-q] <paths>

计算所提供路径下的目录、文件和字节数

1条答案

您可以使用filesystem.liststatus方法来获取有关给定hdfs目录中的文件和目录的信息。
可以使用返回的 FileStatus 对象来计算总大小、文件计数等。