pyspark 将元素数组转换为多列

k5ifujac  于 2022-11-01  发布在  Spark
关注(0)|答案(1)|浏览(229)

如何将JSON数据集中包含一组元素的数组(在一列中)转换为包含python、spark或panda的多列?数据的结构如下:

root
 |-- items: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- id: string (nullable = true)
 |    |    |-- idAccount: long (nullable = true)
 |    |    |-- infractionType: string (nullable = true)
 |    |    |-- responseTime: string (nullable = true)
 |    |    |-- status: string (nullable = true)
 |    |    |-- transactionCode: string (nullable = true)

我期待着这样的结果:
| 标识符|id帐户|
| - -|- -|
| 价值|价值|
| 价值|价值|

g6ll5ycj

g6ll5ycj1#

在Spark SQL中,可以使用getItem访问ArrayTypeMapType列中的项。

相关问题