如何在spark中读取Dataframe内的文件时处理十进制数据类型的空字符串值

ntjbwcob  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(228)

我试图通过传递一个模式,使用dataframe从csv文件中读取数据。对于少数列,数据以空字符串的形式出现,其对应的数据类型为double。因此,当我尝试读取文件时,每当这些列的数据为空字符串时,整个文件的内容都是空的,我无法读取文件的内容。
例如:test.csv

col1,col2,5.45, ,xyz
(string,string,decimal,decimal,string)

所以当我试图读取文件时

val df = spark.read.option("header", false).schema(tblschema).csv("path/test.csv")
df.show()

所有列都具有null值null,null,null,null,null
在传递emptystring或空值时,有没有方法读取double/decimal数据类型列的文件内容?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题