NaN（不是数字）有不同的含义，NULL和空字符串只是一个普通值（可以通过csv阅读器自动转换为NULL），因此na.drop不会匹配这些值。
您可以将全部转换为null并删除

from pyspark.sql.functions import col, isnan, when, trim

df = spark.createDataFrame([
    ("", 1, 2.0), ("foo", None, 3.0), ("bar", 1, float("NaN")), 
    ("good", 42, 42.0)])

def to_null(c):
    return when(~(col(c).isNull() | isnan(col(c)) | (trim(col(c)) == "")), col(c))

df.select([to_null(c).alias(c) for c in df.columns]).na.drop().show()

# +----+---+----+

# |  _1| _2|  _3|

# +----+---+----+

# |good| 42|42.0|

# +----+---+----+

也许在你的情况下这并不重要，但这段代码（修改了Alper t. Turker的答案）可以相应地处理不同的数据类型。当然，数据类型可以根据你的DataFrame而变化。（在Spark版本上测试：第2.4节）

from pyspark.sql.functions import col, isnan, when, trim

# Find out dataType and act accordingly

def to_null_bool(c, dt):
    if df == "double":
        return c.isNull() | isnan(c)
    elif df == "string":
        return ~c.isNull() & (trim(c) != "")
    else:
        return ~c.isNull()

# Only keep columns with not empty strings

def to_null(c, dt):
    c = col(c)
    return when(to_null_bool(c, dt), c)

df.select([to_null(c, dt[1]).alias(c) for c, dt in zip(df.columns, df.dtypes)]).na.drop(how="any").show()