你可以过滤掉不相关的文件，就像@Psidom的回答一样。在spark中，最好的方法是使用内部的spark hadoop配置。假设spark会话变量被称为“spark”，你可以：

import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path

val hadoopfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfiguration)

def testDirExist(path: String): Boolean = {
  val p = new Path(path)
  hadoopfs.exists(p) && hadoopfs.getFileStatus(p).isDirectory
}
val filteredPaths = paths.filter(p => testDirExists(p))
val dataframe = spark.read.parquet(filteredPaths: _*)

先过滤paths怎么样？

paths.filter(f => new java.io.File(f).exists)

例如：

Seq("/tmp", "xx").filter(f => new java.io.File(f).exists)
// res18: List[String] = List(/tmp)

从Spark 2.3.0开始就有一个配置spark.sql.files.ignoreMissingFiles，只要设置为true即可。
https://spark.apache.org/docs/latest/configuration.html

PySpark 3.1或更高版本

遗憾的是，在Spark 3.1中还没有任何标志（至少我不知道）来忽略它们。但是你可以尝试这些简单的事情。好消息是加载接口也可以在列表上工作。见下文。

# add you list of paths here
addrs = ["path1", "path2", ...]

# check if they exists, update the list
for add in addrs:
    try:
        spark.read.format("parquet").load(add)
    except:
        print(add)
        addrs.remove(add)

# read the updated list now
sdf_a = spark\
        .read\
        .format("parquet")\
        .load(addrs)

@s510有一个很好的答案，带有一种Python“duck typing”的风格，但是，我更喜欢在可能的情况下使用不变性，所以我将它重写如下：

def path_is_readable(x):
  try:
    spark.read.parquet(x)
    return True
  except:
    return False

valid_paths = [p for p in paths if path_is_readable(p)]
dataframe = spark.read.parquet(*valid_paths)