你为什么 equal 与null比较是因为 text1 != null 提供null，由 when 声明，所以你得到了意想不到的结果 equal 从 otherwise 声明。
你可以用 eqNullSafe ，当其中一列为null时，返回false而不是null。如果你想比较不等式，就用否定 ~ 的 eqNullSafe .

import pyspark.sql.functions as F

df3 = df.withColumn("equal",
    F.when(~F.col("col1").eqNullSafe(F.col("col2")), "not equal")
     .otherwise("equal")
)

df3.show()
+------+------+---------+
|  col1|  col2|    equal|
+------+------+---------+
|text_1|text_1|    equal|
|text_1|text_2|not equal|
|text_1|  null|not equal|
+------+------+---------+

如果要用空字符串填充空值，可以使用 coalesce :

import pyspark.sql.functions as F

df4 = df.withColumn("equal",
    F.when(F.col("col1") != F.coalesce(F.col("col2"), F.lit("")), "not equal")
     .otherwise("equal")
)

df4.show()
+------+------+---------+
|  col1|  col2|    equal|
+------+------+---------+
|text_1|text_1|    equal|
|text_1|text_2|not equal|
|text_1|  null|not equal|
+------+------+---------+

NULL 不是价值而是代表价值的缺失。不能将其与值或另一个空值进行比较，比较在中总是被解释为false if , when 功能。对于空安全相等检查，还可以使用sql表达式 is distinct from :

from pyspark.sql import functions as F

df1 = df.withColumn(
    "equal",
    F.when(
        F.expr("col1 is distinct from col2"), "not equal"
    ).otherwise("equal")
)

df1.show()

# +------+------+---------+

# |  col1|  col2|    equal|

# +------+------+---------+

# |text_1|text_1|    equal|

# |text_1|text_2|not equal|

# |text_1|  null|not equal|

# +------+------+---------+

或使用 <=> 操作员：

df1 = df.withColumn(
    "equal",
    F.when(
        ~F.expr("col1 <=> col2"), "not equal"
    ).otherwise("equal")
)