你试过使用一个udf来收集每个键的值吗？举例来说：

from pyspark.sql import functions as F

@F.udf(FloatType())
def get_value_from_list(name: str, data_list: list[dict]) -> float:
    for item in data_list:
        if item["fname"] == name:
            return float(item['value'])
    return None

col_names = ['name1', 'name2', 'name3', 'name4']

for col in col_names:
    df = df.withColumn(col, get_value_from_list(F.lit(col), F.col("data")))
df = df.drop("data")

字符串

我通过将spark数据框转换为sql视图，然后运行下面的sql代码来解决这个问题。
首先，从dataframe创建一个视图：

df.createOrReplaceTempView("view_df")

字符串
然后使用SQL创建一个新的spark dataframe：

new_df = spark.sql("""SELECT
ida,
ids,
mode,
CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(data, 'fname=name1, value=', -1), '}', 1) AS STRING) AS name1,
CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(data, 'fname=name2, value=', -1), '}', 1) AS STRING) AS name2,
CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(data, 'fname=name3, value=', -1), '}', 1) AS STRING) AS name3,
CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(data, 'fname=name4, value=', -1), '}', 1) AS STRING) AS name4
FROM view_df""")

型
不是最有效的方法，但结果完全符合我的要求。