我有这样一个blob存储路径列表 wasbs://requestlogs@logs.blob.core.windows.net/logs/1/2021/04/12/*.avro.
当我试着读的时候 FileNotFoundException
所有路径例外。
def checkPathExists(path:String): Boolean =
{
try
{
dbutils.fs.ls(path.replace("*.avro",""))
return true
}
catch
{
case ioe:java.io.FileNotFoundException => return false
}
}
val pathsRdd = sc.parallelize(paths)
val fileteredPaths2 = pathsRdd.filter(p => checkPathExists(p)).collect.toList
println(fileteredPaths2.length)
但当我运行下面的命令时,它正在工作 dbutils.fs.ls("wasbs://requestlogs@logs.blob.core.windows.net/logs/1/2021/04/12/")
我不知道为什么这是不工作的过滤器内
暂无答案!
目前还没有任何答案,快来回答吧!