如何检查hdfs文件夹中是否有可用的avro文件？

c0vxltue 于 2021-06-01 发布在 Hadoop

关注(0)|答案(2)|浏览(302)

我在hdfs文件夹/user/data/output\u files/file\u 2017-10-18中有一些avro文件

scala> val hdfsLoc ="/user/data/output_files/file_2017-10-18/*.avro"
hdfsLoc: String = /user/data/output_files/file_2017-10-18/*.avro

scala>  val conf = new Configuration()

scala>   val fs  = FileSystem.get(conf)

scala> val result = fs.exists(new Path(hdfsLoc))
result: Boolean = false

以上代码给出的结果为false。它说hdfs文件夹中没有avro文件
如果我给出avro文件的全名，那么它返回true

scala>  val hdfsLoc ="/user/data/output_files/file_2017-10-18/part-r-00000-ed937f14-c7d1-480a-9c79-1cda3db4e6ce.avro"
hdfsLoc: String = /user/data/output_files/file_2017-10-18/part-r-00000-ed937f14-c7d1-480a-9c79-1cda3db4e6ce.avro

scala> val result = fs.exists(new Path(hdfsLoc))
result: Boolean = true

如何确保hdfs文件夹中有一个或多个avro文件？

hadoop apache-spark

来源：https://stackoverflow.com/questions/47701391/how-do-we-check-if-there-are-some-avro-files-available-inside-a-hdfs-folder

2条答案

按热度按时间

tgabmvqs1#

似乎文件系统不支持通配符。解决方法如下，尽管看起来很糟糕。

val list = fs.listFiles(new Path("/test/"), true)

 var result=false

 while(list.hasNext()){
   if(list.next().getPath.getName.endsWith(".avro"))
     result=true
 }

赞(0）回复(0）举报 2021-06-01

xesrikrc2#

FileSystem api有一个不同的函数 globStatus 它允许您使用通配符。
它回来了 Array[org.apache.hadoop.fs.FileStatus] ```
val fs = FileSystem.get(Sc.hadoopConfiguration)

fs.globStatus(new Path("/user/data/output_files/file_2017-10-18/*.avro")).length match {
case x: Int if (x>0) => doSomethingWhenAvroFileExists()
case _ => doSomethingWhenNoAvroFilesExist()
}

赞(0）回复(0）举报 2021-06-01

我来回答

如何检查hdfs文件夹中是否有可用的avro文件？

2条答案

相关问题

热门标签

最新问答