使用pyspark读取csv

ogsagwnx  于 2021-05-26  发布在  Spark
关注(0)|答案(55)|浏览(1034)

我正在使用下面的代码读取spark dataframe中的csv文件,但输出很乱:

df = spark.read.format('csv').options(header=True, inferSchema=True).csv('spark.csv')

输出:
+

hjzp0vay

hjzp0vay52#

-----+ӝ1075F0010800000ӝ1075F0010800000ӝ1075f000000000000000000000000ӝ107550005F0010800000ӝ075F0010800000ӝ4720;;| null |高点;博士;null;null;null;null | null;null | null | null |布布布布尼西亚ӝ47 |空|匹兹堡| pa | 15219 | 47 |匹兹堡| 103 |第三病房-匹兹堡…| 2015-01-06 | 2015-01-06 | 1783 | tr15 |00002 | 2 | 2 | 2 | 2 | 2 | 2 | 2 | 2 | 2 | 2 |城市财政部城市司库市市财政部城市司库销售销售|城市财政部城市司库销售销售| ts |财政部司库司司库契约|美国|财政财政部司司司司司库的美国|美国|美国|美国|美国|美国|美国|美国|财政财政部司司司库29000000 | 479 | null |罗斯福|大道| null | null |匹兹堡| pa | 15202 | 29 |北门、北门、北门、北门、803 |北门、803 |北门、北门、北门、北门、北门、北门、北门、北门、北门、北门、北门、803 | 803ӝ;贝尔EVUE;2017-03-27;2017-03-2017-27;2017-03-03-06;0 0;0;16739;166;166;3;3;3;3;3;爱和对爱、爱和影响;3;3;爱情和影响…;爱爱和影响;3;3 |;3;3 |;3 |爱和影响…41 | tr15 | 00059 | gv |政府销售| ts |财务契约|+

相关问题