尝试以下操作：使用'or'操作测试空值

from pyspark.sql import SparkSession
from pyspark.sql import functions as F
import numpy as np

spark = SparkSession.builder.getOrCreate()

dCols = ['c1',  'c2']
dData = [('a', 'b'), 
         ('c', 'd'),
         ('e', None)]     
df = spark.createDataFrame(dData, dCols)

df = df.withColumn(
    'newCol',
    F.when(F.col('c2').isNull() | (F.col('c2') == 'd'), 'true')   #
    .otherwise('false')
).show()

在这种情况下，仅引用一个列是不够的。要检查空值，需要使用单独的 isNull 方法。
另外，如果你想要一列 true/false ，可以直接将结果强制转换为布尔值，而无需使用 when :

import pyspark.sql.functions as F

df2 = df.withColumn(
    'newCol',
    (F.col('c2').isin(['d']) | F.col('c2').isNull()).cast('boolean')
)

df2.show()
+---+----+------+
| c1|  c2|newCol|
+---+----+------+
|  a|   b| false|
|  c|   d|  true|
|  e|null|  true|
+---+----+------+

NULL 不是值，但表示缺少值，因此不能将其与none或null进行比较。这种比较总是给人错误的印象。你需要使用 isNull 要检查：

df = df.withColumn(
    'newCol',
    F.when(F.col('c2').isin({'d'}) | F.col('c2').isNull(), 'true')
        .otherwise('false')
).show()

# +---+----+------+

# | c1|  c2|newCol|

# +---+----+------+

# |  a|   b| false|

# |  c|   d|  true|

# |  e|null|  true|

# +---+----+------+