dbutils.fs.ls在筛选器内返回filenotfoundexception异常

ao218c7q  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(222)

我有这样一个blob存储路径列表 wasbs://requestlogs@logs.blob.core.windows.net/logs/1/2021/04/12/*.avro. 当我试着读的时候 FileNotFoundException 所有路径例外。

def checkPathExists(path:String): Boolean = 
{ 
  try
  {
    dbutils.fs.ls(path.replace("*.avro",""))
    return true
  }
  catch
  {
    case ioe:java.io.FileNotFoundException => return false
  }
}

val pathsRdd = sc.parallelize(paths)
val fileteredPaths2 = pathsRdd.filter(p => checkPathExists(p)).collect.toList
println(fileteredPaths2.length)

但当我运行下面的命令时,它正在工作 dbutils.fs.ls("wasbs://requestlogs@logs.blob.core.windows.net/logs/1/2021/04/12/") 我不知道为什么这是不工作的过滤器内

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题