我正在尝试将json字符串jsonstr转换为scala中的sparkDataframe。为此目的使用intelij。
val spark = SparkSession.builder().appName("SparkExample").master("local[*]").getOrCreate()
val sc = spark.sparkContext
import spark.implicits._
var df = spark.read.json(Seq(jsonStr).toDS)
df.show()
使用maven编译/构建项目时出现以下错误。
错误:(243,29)重载了方法值json和替代项:(jsonrdd:org.apache.spark.rdd.rdd[string])org.apache.spark.sql.dataframe(jsonrdd:org.apache.spark.api.java.javardd[string])org.apache.spark.sql.dataframe(path:string*)org.apache.spark.sql.dataframe(path:string)org.apache.spark.sql.dataframe不能应用于(org.apache.spark.sql.dataset[string])var df=spark.read.json(seq(jsonstr).tods)
注意:在使用sbt构建时,我没有得到错误。
2条答案
按热度按时间uyhoqukh1#
将代码更改为
(或将其组合成一个变量,由您决定)。
你想通过吗
Dataset
进入spark.read.json
函数,从而产生错误。j5fpnvbx2#
spark 2.2.0中介绍了以下方法
请更正maven的pom.xml文件中spark的版本