spark返回结构Map的javaudf

vddsk6oq  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(322)

我有一个具有以下模式的Dataframe:

  1. |-- id: string (nullable = false)
  2. |-- name: string (nullable = false)
  3. |-- properties: array (nullable = true)
  4. | |-- element: struct (containsNull = true)
  5. | | |-- name: string (nullable = false)
  6. | | |-- values: array (nullable = true)
  7. | | | |-- element: string (containsNull = true)

我想将properties字段转换为具有以下架构的结构Map:

  1. |-- propertiesMap: map (nullable = true)
  2. | |-- key: string
  3. | |-- value: struct (valueContainsNull = true)
  4. | | |-- name: string (nullable = true)
  5. | | |-- values: array (nullable = true)
  6. | | | |-- element: string (containsNull = true)

我将java与spark 2.3.0结合使用。如果不使用自定义项,我就找不到实现这一点的方法。我应该使用什么样的自定义项返回类型?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题