如何在pyspark中创建混合类型的数组？

kiz8lqtg 于 2024-01-06 发布在 Spark

关注(0)|答案(1)|浏览(119)

我想创建一个这样的数组：

F.struct(F.array(struct_1, struct_2).alias('pair'))

字符串
当它被存储到JSON中时，存储的结果看起来像这样：

{"pair": [{...struct_1...} , {...struct_2...}]
{"pair": [{...struct_1...} , {...struct_2...}]
...

型
其中struct_1和struct_2是不同类型的结构体。但是我不能用数组这样做，因为数组不接受混合类型。我如何实现这一点？

pyspark

来源：https://stackoverflow.com/questions/77680933/how-to-create-an-array-of-mixed-type-in-pyspark

1条答案

按热度按时间

6mw9ycah1#

不如这样：

struct1 = StructType([
    StructField('id', IntegerType()),
    StructField('name', StringType())
])
struct2 = StructType([
    StructField('value', DoubleType())
data = [
    ( [struct1(1, 'a'), struct2(2.5)], ), 
    ( [struct1(3, 'b'), struct2(5.5)], )
]
df = spark.createDataFrame(data, ['pair'])

字符串

赞(0）回复(0）举报 2024-01-06

我来回答

如何在pyspark中创建混合类型的数组？

1条答案

相关问题

热门标签

最新问答