我可以为hdfs运行以下命令：
hadoop fs -ls /user/hive/warehouse/databasename.db/tablename
如何在spark中编写命令来显示hdfs中特定文件夹下的所有文件？谢谢。
gzjq41n41#
好的，下面是 scala 代码只提供了一个函数来打印父路径下的所有hdfs文件。您可以根据需要进行改进。
scala
def getAllPaths(parentPath:String, fs: FileSystem) = { val fileStatus = fs.listStatus(new Path(parentPath)) for( file<- fileStatus) { println(file.getPath.toString) } }
def getAllPaths(parentPath:String, fs: FileSystem) = {
val fileStatus = fs.listStatus(new Path(parentPath))
for( file<- fileStatus) {
println(file.getPath.toString)
}
1条答案
按热度按时间gzjq41n41#
好的，下面是
scala代码只提供了一个函数来打印父路径下的所有hdfs文件。您可以根据需要进行改进。