我正在尝试在IntelliJ IDE中运行Scala Spark代码。
我在项目根目录下创建了以下build.sbt
文件:
name := "SimpleProject"
version := "0.1"
scalaVersion := "2.12.10"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.4.8",
"org.apache.spark" %% "spark-sql" % "2.4.8"
)
我使用的Scala版本是2.12.10,Spark版本是2.4.8。
生成失败,错误为object apache is not a member of package org
:
我在Scala文件中创建的对象:
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
object Main {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
}
}
我试着在sbt标签中重新加载项目,构建似乎是成功的:
然后我尝试sbt clean package
,仍然得到相同的错误:object apache is not a member of package org [error] import org.apache.spark.SparkContext
我被困在这里一段时间了。我的假设是Spark会自动解析,如果它在build.sbt文件中作为依赖项传递的话。但是,它似乎不工作。
如果有人能帮我解决这个问题,让我可以使用Scala Spark,我会很感激。
1条答案
按热度按时间u3r8eeie1#
您是否尝试过清除InteliJ缓存?
->选择文件|从主菜单中使缓存无效