如何通过spark运行hdfs文件系统命令?

vbopmzt1  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(558)

我可以为hdfs运行以下命令:

  1. hadoop fs -ls /user/hive/warehouse/databasename.db/tablename

如何在spark中编写命令来显示hdfs中特定文件夹下的所有文件?
谢谢。

gzjq41n4

gzjq41n41#

好的,下面是 scala 代码只提供了一个函数来打印父路径下的所有hdfs文件。您可以根据需要进行改进。

  1. def getAllPaths(parentPath:String, fs: FileSystem) = {
  2. val fileStatus = fs.listStatus(new Path(parentPath))
  3. for( file<- fileStatus) {
  4. println(file.getPath.toString)
  5. }
  6. }

相关问题