我正在尝试将集群管理器从单机版切换到apachespark中的“yarn”，这是我为学习而安装的。我阅读了下面的线程来理解应该选择哪种集群类型但是，我想知道更改集群类型的步骤/语法。例：从单机到Yarn或从Yarn到单机。
bkhjykvo1#
如果不是通过命令行运行，那么可以直接在sparkconf对象上设置此主控形状。
sparkConf.setMaster(http://path/to/master/url:port) in cluster mode
或
sparkConf.setMaster(local[*]) in client/local mode
46scxncf2#
在spark中有一个函数名 --master 它可以帮助您在集群模式或独立模式下执行脚本。在本地模式或独立模式下运行应用程序 spark-submit 命令
--master
spark-submit
--master Local[*]
--master spark://192.168.10.01:7077 \ --deploy-mode cluster \
在一团Yarn上奔跑
--master yarn --deploy-mode cluster
欲了解更多信息，请访问此链接。https://spark.apache.org/docs/latest/submitting-applications.html
2条答案
按热度按时间bkhjykvo1#
如果不是通过命令行运行，那么可以直接在sparkconf对象上设置此主控形状。
或
46scxncf2#
在spark中有一个函数名
--master它可以帮助您在集群模式或独立模式下执行脚本。在本地模式或独立模式下运行应用程序
spark-submit命令或
在一团Yarn上奔跑
欲了解更多信息，请访问此链接。https://spark.apache.org/docs/latest/submitting-applications.html