spark读取文件失败,拉丁1编码

pobjuy32  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(239)

当我尝试读取选项头为false和编码为1的文件时。。。一切正常。但如果我尝试读取头为true,编码为1的文件。。。
获得如下错误

java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:312)
at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:200)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)

读取不带标题的数据的代码行。

dataset = sparkSession.read()
.option("delimiter", "|")
.option("header", false)
.option("encoding", "ISO-8859-1")
.schema(getDFHeaders())
.csv(inputFilePath)
.toDF();

读取带有标题的数据的代码行

dataset = sparkSession.read()
.option("delimiter", "|")
.option("header", true)
.option("encoding", "ISO-8859-1")
.csv(inputFilePath)
.toDF();

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题