加载以管道分隔的csv数据,在配置单元中的一列中包含“(双引号)

a9wyjsp7  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(333)

我有数据below:-

Rollno|Name|height|department
101|Aman|5"2|C.S.E

将所有列作为字符串。当我在配置单元中加载上述数据时,我会在开始和结束时得到额外的报价below:- rollno:-"101 name:-aman height:-5“二维epartment:-c.s.e“谁能帮我解决这个问题。

jckbn6z7

jckbn6z71#

指定分隔符,例如:

val df = spark.read.option("header","true").option("inferSchema","true").option("sep", "|").csv("test.csv")
df.show(false)

+------+----+------+----------+
|Rollno|Name|height|department|
+------+----+------+----------+
|101   |Aman|5"2   |C.S.E     |
+------+----+------+----------+

相关问题