pyspark读取csv

yftpprvb  于 2021-07-13  发布在  Spark
关注(0)|答案(1)|浏览(543)

读取csv后,我得到一个意外的输出:

MessageName;ContactKey;DateTimeSend;MessageContent;MessageOpened;OpenDate;TimeInApp;Platform;PlatformVersion;Status
20200903 - NL SPAARUPDATE Augustus;0031t00000A4w0xAAB;09/03/2020 8:09;Vorige maand heb je dankzij de Lidl-Plus app %%savings%% euro gespaard. Goed bezig! ??????;no;;;iPhone OS;12.4.5;Success

可以想象,输出需要将这些信息拆分为列和单元格来创建一个普通的Dataframe。
我尝试了以下代码:

df = spark.read.csv('/FileStore/tables/BE_August_monthlysaving.csv', header='true')

display(df)

或者,我试着用 , delimiter=';' 在标头之前和之后,但执行此操作时,会出现以下错误:
csv()得到意外的关键字参数“delimiter”
你知道怎么解决这个问题吗?

qyswt5oh

qyswt5oh1#

使用 sep 而不是 delimiter :

df = spark.read.csv('/FileStore/tables/BE_August_monthlysaving.csv', header='true', sep=';')

或者你可以把它当作 option :

df = spark.read.option('delimiter', ';').csv('/FileStore/tables/BE_August_monthlysaving.csv', header='true')

相关问题