我可以为hdfs运行以下命令:
hadoop fs -ls /user/hive/warehouse/databasename.db/tablename
如何在spark中编写命令来显示hdfs中特定文件夹下的所有文件?谢谢。
gzjq41n41#
好的,下面是 scala 代码只提供了一个函数来打印父路径下的所有hdfs文件。您可以根据需要进行改进。
scala
def getAllPaths(parentPath:String, fs: FileSystem) = { val fileStatus = fs.listStatus(new Path(parentPath)) for( file<- fileStatus) { println(file.getPath.toString) } }
1条答案
按热度按时间gzjq41n41#
好的,下面是
scala
代码只提供了一个函数来打印父路径下的所有hdfs文件。您可以根据需要进行改进。