我有一个python中的字符串列表,如下所示:
['start_column=column123;to_3=2020-09-07 10:29:24;to_1=2020-09-07 10:31:08;to_0=2020-09-07 10:31:13;',
'start_column=column475;to_3=2020-09-07 10:29:34;']
我正试图通过以下方式将其转换为Dataframe:
schema = StructType([
StructField('Rows', ArrayType(StringType()), True)
])
rdd = sc.parallelize(test_list)
query_data = spark.createDataFrame(rdd,schema)
print(query_data.schema)
query_data.show()
我收到以下错误:
TypeError: StructType can not accept object
3条答案
按热度按时间lrl1mhuk1#
您只需在创建Dataframe时将其作为列表传递,如下所示。。。
kse8i1jr2#
你应该使用
schema = StringType()
因为您的行包含字符串而不是字符串的结构。rsaldnfx3#
我有两种可能的解决办法。
解决方案1:假设您想要一个只有一行的Dataframe
我可以通过将test\u列表中的值 Package 在圆括号中并使用stringtype使其工作。
解决方案2:假设您想要一个只有一列的Dataframe