hdfs文件列表

wz1wpwve 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(347)

我试图在hdfs目录中查找文件列表，但是当我尝试运行下面的代码时，该代码需要一个文件作为输入。

val TestPath2="hdfs://localhost:8020/user/hdfs/QERESULTS1.csv"
val hdfs: org.apache.hadoop.fs.FileSystem = org.apache.hadoop.fs.FileSystem.get(sc.hadoopConfiguration)
      val hadoopPath = new org.apache.hadoop.fs.Path(TestPath1)
      val recursive = true
     // val ri = hdfs.listFiles(hadoopPath, recursive)()
      //println(hdfs.getChildFileSystems)
      //hdfs.get(sc

val ri=hdfs.listFiles(hadoopPath, true)
println(ri)

hadoop hdfs scala apache-spark

来源：https://stackoverflow.com/questions/36736954/hdfs-file-list-in-scala

1条答案

按热度按时间

cgh8pdjw1#

您应该将默认文件系统设置为hdfs://首先，您的默认文件系统似乎是file://

val conf = sc.hadoopConfiguration 
conf.set("fs.defaultFS", "hdfs://some-path")

val hdfs: org.apache.hadoop.fs.FileSystem = org.apache.hadoop.fs.FileSystem.get(conf)

...

赞(0）回复(0）举报 2021-05-29

我来回答

hdfs文件列表

1条答案

相关问题

热门标签

最新问答