构建自定义spark

8hhllhi2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(155)

我们正在创建spark的自定义版本,因为我们正在更改als.scala中的一些代码行。我们使用mvn命令构建定制spark版本:

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

但是,在使用定制版本的spark时,我们遇到了以下错误:

你们知道是什么导致了这个错误,我们怎么解决这个问题吗?
我实际上是在本地机器中使用一个jar文件,使用sbt:sbt compile然后sbt clean包构建它们,并将jar文件放在这里:/users/user/local/kernel/kernel-0.1.5-snapshot/lib。
但是在hadoop环境中,安装是不同的。因此,我使用maven来构建spark,这就是错误所在。我认为这个错误可能与使用maven构建spark有关,因为有些报告如下:
https://issues.apache.org/jira/browse/spark-2075
或者可能是在构建spark程序集文件时

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题