我试图通过传递一个模式,使用dataframe从csv文件中读取数据。对于少数列,数据以空字符串的形式出现,其对应的数据类型为double。因此,当我尝试读取文件时,每当这些列的数据为空字符串时,整个文件的内容都是空的,我无法读取文件的内容。
例如:test.csv
col1,col2,5.45, ,xyz
(string,string,decimal,decimal,string)
所以当我试图读取文件时
val df = spark.read.option("header", false).schema(tblschema).csv("path/test.csv")
df.show()
所有列都具有null值null,null,null,null,null
在传递emptystring或空值时,有没有方法读取double/decimal数据类型列的文件内容?
暂无答案!
目前还没有任何答案,快来回答吧!