我有一个具有以下模式的Dataframe:
|-- id: string (nullable = false)
|-- name: string (nullable = false)
|-- properties: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- name: string (nullable = false)
| | |-- values: array (nullable = true)
| | | |-- element: string (containsNull = true)
我想将properties字段转换为具有以下架构的结构Map:
|-- propertiesMap: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- name: string (nullable = true)
| | |-- values: array (nullable = true)
| | | |-- element: string (containsNull = true)
我将java与spark 2.3.0结合使用。如果不使用自定义项,我就找不到实现这一点的方法。我应该使用什么样的自定义项返回类型?
暂无答案!
目前还没有任何答案,快来回答吧!