scala 无法使用新文件列出hdfs目录中的文件,listFiles

yzuktlbb  于 2023-02-04  发布在  Scala
关注(0)|答案(1)|浏览(155)

我试图列出的文件夹具有完全权限,但仍然无法列出。

scala> new File("hdfs://mapdigidev/apps/hive/warehouse/da_ai.db/t_fact_ai_pi_ww").listFiles
res0: Array[java.io.File] = null
3mpgtkmj

3mpgtkmj1#

您可以使用Hadoop库列出Hadoop中的文件:

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}

val fs = FileSystem.get(new URI("hdfs://mapdigidev"), new Configuration())
val files = fs.listFiles(new Path("/apps/hive/warehouse/da_ai.db/t_fact_ai_pi_ww"), false)

但是java.io并不了解hadoop/hdfs。

相关问题