我目前正在使用spark 2.3.0并升级到spark 3.0.0。
我的群集创建在spark 2.3.0中运行良好,脚本按如下方式调用以启动主节点:
/home/spark-current/sbin/start-master.sh -h 10.1.0.28 --webui-port 8080
但是,当我将其用于spark 3.0.0时,会收到以下错误消息:
failed to launch: nice -n 0 /home/spark-current/bin/spark-class org.apache.spark.deploy.master.Master --host abc.xyz.google.aws.net --port 7077 --webui-port 8080 -h 10.3.2.3 --webui-port 8080
调试时,以下命令在start-master.sh中失败
spark命令:
/usr/lib/jvm/java-1.8.0-openjdk-amd64/bin/java
- cp /home/spark-current/conf/:/home/spark-current/jars/*
- Xmx1g org.apache.spark.deploy.master.Master
--host abc.xyz.google.aws.net
--port 7077
--webui-port 8080
-h 10.3.2.3
关于调试的任何提示,同样的命令在spark2.3.0中运行得非常好,spark3.0.0中的部署选项有没有改变?
暂无答案!
目前还没有任何答案,快来回答吧!