Intellij Idea 在Scala项目Intellij IDE中导入Spark版本2.12.10时出错

vxbzzdmp  于 2023-10-15  发布在  Scala
关注(0)|答案(1)|浏览(181)

我正在尝试在IntelliJ IDE中运行Scala Spark代码。
我在项目根目录下创建了以下build.sbt文件:

name := "SimpleProject"

version := "0.1"

scalaVersion := "2.12.10"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.4.8",
  "org.apache.spark" %% "spark-sql" % "2.4.8"
)

我使用的Scala版本是2.12.10,Spark版本是2.4.8
生成失败,错误为object apache is not a member of package org

我在Scala文件中创建的对象:

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object Main {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)

  }
}

我试着在sbt标签中重新加载项目,构建似乎是成功的:

然后我尝试sbt clean package,仍然得到相同的错误:
object apache is not a member of package org [error] import org.apache.spark.SparkContext
我被困在这里一段时间了。我的假设是Spark会自动解析,如果它在build.sbt文件中作为依赖项传递的话。但是,它似乎不工作。
如果有人能帮我解决这个问题,让我可以使用Scala Spark,我会很感激。

u3r8eeie

u3r8eeie1#

您是否尝试过清除InteliJ缓存?
->选择文件|从主菜单中使缓存无效

相关问题