我有两个cloderahadoop集群(prod和dev)和一个客户机。此客户端计算机被配置为prod集群的网关节点。
从这个我可以提交一个Spark作业到我的产品集群使用
spark-submit --master yarn job_script.py
现在我想从这个客户机向我的dev集群提交相同的作业。
我试过用
spark-submit --master yarn://<dev_resource_manager_ip>:8032 job_script.py
但这似乎不起作用,我的工作仍然提交给prod cluster。我怎么知道 spark-submit
将作业提交到dev cluster资源管理器而不是prod cluster。
1条答案
按热度按时间rkkpypqq1#
为dev cluster和override创建包含所有hadoop xml的目录
HADOOP_CONF_DIR
前环境变量spark-submit
.