如何通过spark运行hdfs文件系统命令?

vbopmzt1  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(557)

我可以为hdfs运行以下命令:

hadoop fs -ls /user/hive/warehouse/databasename.db/tablename

如何在spark中编写命令来显示hdfs中特定文件夹下的所有文件?
谢谢。

gzjq41n4

gzjq41n41#

好的,下面是 scala 代码只提供了一个函数来打印父路径下的所有hdfs文件。您可以根据需要进行改进。

def getAllPaths(parentPath:String, fs: FileSystem) = {
    val fileStatus = fs.listStatus(new Path(parentPath))
    for( file<- fileStatus) {
      println(file.getPath.toString)
    }
  }

相关问题