在使用pyspark创建的Pandas DF中将Str转换为Dict

bqjvbblv  于 2023-05-12  发布在  Spark
关注(0)|答案(1)|浏览(139)

我有这样的Pandasdf:

id         sim
1          [[a -> [203471222 -> 0.9993, 554554725...
2          [[b Jackets -> [109083701 -> 0.9988, 45...
3          [[c -> [2746368014 -> 1.0, 2741723566 -> 1...

其中列sim的格式是str,但实际上它是list of list dictionary,它是使用Pyspark创建的。我可以在Pandas dataframe中得到我想要的格式list of list dictionary吗?
保存时,如果我没有在pyspark中将该列转换为字符串格式,而在Pandas中阅读时,它只是为整个列读取None。
编辑:这里每个->代表key, value对,就像左边的任何东西都是key,右边的任何东西都是value。我想将其转换为python dict[]作为列表。

ryevplcw

ryevplcw1#

可以使用ast.literal_eval

import ast

df['sim_dict'] = df['sim'].apply(lambda x: ast.literal_eval(x))

相关问题