如何使用spark从嵌套的json数组中获取值？

sauutmhj 于 2021-07-13 发布在 Spark

关注(0)|答案(1)|浏览(471)

我有这个阵列

val myJson = {
"record": {
"recordId": 100,
"name": "xyz",
"version": "1.1",
"input": [
  {
    "format": "Database",
    "type": "Oracle",
    "connectionStringId": "212",
    "connectionString": "ksfksfklsdflk",
    "schemaName": "schema1",
    "databaseName": "db1",
    "tables": [
      {
        "table_name":"one"
      }
      {
        "table_name":"two"
      }
    ]
  }
]    
}
}

我使用这段代码在dataframe中获取这个json

val df = sparkSession.read.json(myjson)

我想要schemaname和databasename的值，我怎样才能得到它们？

val schemaName = df.select("record.input.schemaName") //not working

有人，请帮帮我

scala apache-spark

来源：https://stackoverflow.com/questions/66152167/how-to-get-values-from-nested-json-array-using-spark

1条答案

按热度按时间

ryoqjall1#

需要分解数组列 record.input 然后选择所需的字段：

df.select(explode(col("record.input")).as("inputs"))
  .select("inputs.schemaName", "inputs.databaseName")
  .show
//+----------+------------+
//|schemaName|databaseName|
//+----------+------------+
//|   schema1|         db1|
//+----------+------------+

赞(0）回复(0）举报 2021-07-13

我来回答

如何使用spark从嵌套的json数组中获取值？

1条答案

相关问题

热门标签

最新问答