我让星火以星团模式在Mesos上运行。当我提交作业时,驱动程序在任何从属节点上随机运行。有没有办法我可以指定司机的位置?例如,我要运行的从机的ip。。我能用spark.driver.host吗谢谢,
ffscu2ro1#
否。在群集模式下,即使用 --deploy-mode cluster 中的选项 ./bin/spark-submit 命令,则在群集中的节点上启动驱动程序。你不应该设置 spark.driver.host 和/或 spark.driver.port 因为这是由 SparkContext .
--deploy-mode cluster
./bin/spark-submit
spark.driver.host
spark.driver.port
SparkContext
1条答案
按热度按时间ffscu2ro1#
否。在群集模式下,即使用
--deploy-mode cluster
中的选项./bin/spark-submit
命令,则在群集中的节点上启动驱动程序。你不应该设置spark.driver.host
和/或spark.driver.port
因为这是由SparkContext
.