我在一个Dataframe上做collect\u list,这个Dataframe产生所需的 column(TASourceId)
具体如下:
[{"TASourceId": "Source1", "flag": "true"}, {"TASourceId": "Source2", "flag": "true"}]
查询:
SELECT col1, col2,col3, collect_list(struct(TASourceId, flag)) as TASourceId
FROM table
GROUP BY 1,2,3
有没有可能获得dictionary对象的dictionary作为列的输出,如下所示?
{"col1":{"TASourceId": "Source1", "flag": "true"}, "col2":{"TASourceId": "Source2", "flag": "true"}}
我想用 spark UDF
获取此项,但出现以下错误:
类dict错误应为零参数。
1条答案
按热度按时间5sxhfpxr1#
我取了一个样本作为你的数组,并将其转换为字典。