Intellij Idea scala 3.3.0版本的Intellij中spark 3.4.1的sbt 1.9问题

biswetbf  于 2023-08-03  发布在  Scala
关注(0)|答案(1)|浏览(106)

我已经安装了1.9 SBT和intellij。现在,我想在Intelliji中使用built.sbt中的以下代码配置spark 3.4.1版本和3.3.0 scala版本


的数据
有什么解决办法吗??
谢谢你的好意



我期待它得到succeeed但遇到错误

umuewwlo

umuewwlo1#

没有发布与spark-corescala 3.3.0或任何其他版本的spark-core兼容的版本。
只是换衣服

ThisBuild / scalaVersion := "3.3.0"

字符串
对于

ThisBuild / scalaVersion := "2.13.11"


应该能解决你的问题也可以使用scala 2.12.x
您可以通过以下链接阅读有关该组合的更多信息:

Scala 3发布后,开发人员最常问的问题之一是:“我们什么时候才能用Scala 3写Spark作业?”到目前为止,答案是:“还没有”,但在Spark 3.2.0发布后,一切都改变了,它带来了Scala 2.13的支持。Scala 3项目可以依赖于Scala 2.13库,那么我们最终可以使用Scala 3编写Spark作业吗?理论上,答案是肯定的

该存储库旨在使使用Apache Spark的项目更容易采用Scala 3

相关问题