可以使用unionAll创建新行。在Scala上，可以轻松转换为Python：

df.withColumn("new_col", coalesce($"c1", $"c2"))
  .unionAll(
    df.where($"c1".isNotNull && $"c2".isNotNull)
      .withColumn("new_col", $"c2")
  )

字符串
测试结果：

+----+----+-------+
|c1  |c2  |new_col|
+----+----+-------+
|111 |null|111    |
|null|222 |222    |
|333 |444 |333    |
|null|null|null   |
|333 |444 |444    |
+----+----+-------+

型

from pyspark.sql import functions as F
data = [(111, None), (None, 222), (333, 444), (None, None)]
columns = ["c1", "c2"]
df = spark.createDataFrame(data, columns)
df = df.withColumn("c1", F.col("c1").cast('int'))
df = df.withColumn("c2", F.col("c2").cast('int'))
df1 = df.filter((F.col("c1").isNotNull()) & (F.col("c2").isNotNull()))
df2 = df.filter(~((F.col("c1").isNotNull()) & (F.col("c2").isNotNull())))
df1 = (df1.withColumn("new_col", F.array(df["c1"], df["c2"]))
       .withColumn("new_col", F.explode("new_col"))
       .withColumn("new_col", F.col("new_col").cast("int")))
df2 = df2.withColumn("new_col", F.when(df2["c1"].isNull(), df2["c2"])
                     .when(df2["c2"].isNull(), df2["c1"])
                     .when((df2["c2"].isNull() & df2["c1"].isNull()), F.lit(None).cast('int'))
                     .otherwise(F.lit(None).cast('int')))
df1.show()
df2.show()
final_df = df2.unionByName(df1)
final_df.show()

字符串
这里是结果，应该是你想要的输出

+----+----+-------+
|  c1|  c2|new_col|
+----+----+-------+
| 111|NULL|    111|
|NULL| 222|    222|
|NULL|NULL|   NULL|
| 333| 444|    333|
| 333| 444|    444|
+----+----+-------+

型

你可以使用coalesce来创建一个数组，然后使用explode来从中创建行：

from pyspark.sql.functions import expr, explode, coalesce
df \
.withColumn(
    "array_col",
    expr(
        "CASE WHEN c1 IS NOT NULL AND c2 IS NOT NULL THEN array(c1, c2)" +
        "ELSE array(coalesce(c1, c2))" +
        "END"
    )
) \
.withColumn("new_col", explode("array_col")) \
.drop("array_col") \
.show()

字符串
输出量：

+----+----+-------+
|  c1|  c2|new_col|
+----+----+-------+
| 111|NULL|    111|
|NULL| 222|    222|
| 333| 444|    333|
| 333| 444|    444|
|NULL|NULL|   NULL|
+----+----+-------+

型

要实现所需的结果，您可以使用union操作将DataFrame与其自身的修改版本组合在一起，其中新列（new_col）根据您提到的条件填充。以下是如何做到这一点：

from pyspark.sql import SparkSession
from pyspark.sql import functions as F
# Create a Spark session
spark = SparkSession.builder.appName("example").getOrCreate()
# Sample DataFrame
data = [(111, None), (None, 222), (333, 444), (None, None)]
columns = ["c1", "c2"]
df = spark.createDataFrame(data, columns)
# Create a new DataFrame with a modified new_col
new_df = df.withColumn("new_col", F.when(df["c1"].isNull(), df["c2"])
                                 .when(df["c2"].isNull(), df["c1"])
                                 .otherwise(F.array(df["c1"], df["c2"])))
# Explode the array in new_col to create separate rows
result_df = new_df.select("c1", "c2", F.explode("new_col").alias("new_col"))
# Show the result
result_df.show()

字符串
这将为您提供以下DataFrame：

+----+----+-------+
|  c1|  c2|new_col|
+----+----+-------+
| 111|null|    111|
|null| 222|    222|
| 333| 444|    333|
| 333| 444|    444|
|null|null|   null|
+----+----+-------+

型
在这里，F.array(df["c1"], df["c2"])用于创建一个数组列new_col，其中包含c1和c2值。然后使用F.explode函数将该数组分解为单独的行。这样，您可以为数组中的每个值获得一个新行。