可以使用coalesce函数从两列中选择非空值

from pyspark.sql.functions import coalesce
table1DF = sparkSession.read.table("Table1")
table2DF = sparkSession.read.table("Table2")
table1 = table1DF.select("lang", "created_date")
table2 = table2DF.select("lang", "ingested_date").alias("created_date")
merged_table = table1.union(table2)
final_table = merged_table.groupBy("lang").agg(coalesce("created_date", "ingested_date").alias("created_date"))

字符串

下面是我针对你的问题测试的一段代码，union函数不关心列的名称，它关心它们的编号和类型，它将数据堆叠在彼此的顶部，获取行（'scala'，NULL）很奇怪，因为我测试过了，它工作正常，除非你已经在table 2中有了行。

from pyspark.sql import SparkSession
from pyspark.sql.types import *
from pyspark.sql import Row
from pyspark.sql.functions import coalesce
spark = SparkSession.builder.appName("SparkSQL").getOrCreate()
# Creating the data sample
schema = StructType([
    StructField("lang", StringType(), True),
    StructField("created_date", StringType(), True)
])
rows = [Row("java", "11-01-23"), Row("python", "11-11-23")]
rows2 = [Row("scala", "11-21-23"), Row("scala", None)]
schema2 = StructType([
    StructField("lang", StringType(), True),
    StructField("ingested_date", StringType(), True)
])
# Creating the dataframes
df = spark.createDataFrame(rows, schema)
df2 = spark.createDataFrame(rows2, schema2)
# Union the dataframes
result = df.union(df2)
result.dropna().show()

字符串
即使表1 created_date中的column 2和表2中的column 2被称为ingested_date，union也会堆叠数据，因为它会检查 Dataframe 的列数和每列的类型。
关于你的代码，不幸的是，它是不可复制的。但是，如果你在执行union后仍然有一个额外的无用行，你可以做以下事情，你会很好：

merged_table = table1.union(table2).dropna()

型
好奇和开放的讨论，我希望这有助于！