如何使用sparkshell的两个版本？

mrwjdhj3 于 2021-05-29 发布在 Hadoop

关注(0)|答案(4)|浏览(431)

我的hortonworks群集上安装了spark 1.6.2和spark 2.0。
这两个版本都安装在hadoop集群中5个节点的一个节点上。
每次我开始 spark-shell 我得到：

$ spark-shell
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
Spark1 will be picked by default

当我检查版本时，我得到：

scala> sc.version
res0: String = 1.6.2

如何启动其他版本（spark2.0的spark shell）？

hadoop apache-spark version

来源：https://stackoverflow.com/questions/41135506/how-to-use-two-versions-of-spark-shell

4条答案

按热度按时间

wdebmtf21#

采用这种方法：

spark-shell

负载Spark1.6
打字时

spark2-shell

负载spark 2.0

赞(0）回复(0）举报 2021-05-29

bn31dyow2#

export SPARK_MAJOR_VERSION=2

你只需要给出主要版本2或1。

$ export SPARK_MAJOR_VERSION=2
$ spark-submit --version
SPARK_MAJOR_VERSION is set to 2, using Spark2
Welcome to
   ____              __
  / __/__  ___ _____/ /__
 _\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 2.0.0.2.5.0.0-1245

赞(0）回复(0）举报 2021-05-29

huwehgph3#

$ SPARK_MAJOR_VERSION=2 spark-shell

赞(0）回复(0）举报 2021-05-29

b0zn9rqh4#

使用spark2 submit、pyspark2或spark2 shell

赞(0）回复(0）举报 2021-05-29

我来回答

如何使用sparkshell的两个版本？

4条答案

相关问题

热门标签

最新问答