我有一个Spark设置目前正在运行的产品。
其中我们使用shell脚本调用spark submit。
在spark以客户机模式提交之前,我们在shell脚本中导出一些变量。
这些导出的变量将在scala程序中使用“system.getenv(<variable\u name\u exportrd>)”引用。
问题:现在的问题是我们在spark submit中切换到Yarn簇模式。
如果我们使用集群模式提交作业。那些导出的变量在程序中是空的。
根据下面的博客,如果我使用“spark.yarn.appmasterenv”,我就能够访问那些导出的变量。我们正在用shell脚本导出将近40个变量。所以为40个变量构建conf是一项乏味的任务(变量(动态变化)
如何通过spark submit在集群模式下将环境变量传递给spark驱动程序
现在我的问题是:有没有一种方法可以在一个文件中指定多个环境变量并将其传递给spark submit。
这使得代码更改非常少。
请帮忙。提前谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!