spark提交到远程应用程序

axkjgtzd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(437)

我有两个cloderahadoop集群(prod和dev)和一个客户机。此客户端计算机被配置为prod集群的网关节点。
从这个我可以提交一个Spark作业到我的产品集群使用

  1. spark-submit --master yarn job_script.py

现在我想从这个客户机向我的dev集群提交相同的作业。
我试过用

  1. spark-submit --master yarn://<dev_resource_manager_ip>:8032 job_script.py

但这似乎不起作用,我的工作仍然提交给prod cluster。我怎么知道 spark-submit 将作业提交到dev cluster资源管理器而不是prod cluster。

rkkpypqq

rkkpypqq1#

为dev cluster和override创建包含所有hadoop xml的目录 HADOOP_CONF_DIR 前环境变量 spark-submit .

相关问题