如何在集群模式下为spark传递多个环境变量?

wh6knrhe  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(305)

我有一个Spark设置目前正在运行的产品。
其中我们使用shell脚本调用spark submit。
在spark以客户机模式提交之前,我们在shell脚本中导出一些变量。
这些导出的变量将在scala程序中使用“system.getenv(<variable\u name\u exportrd>)”引用。
问题:现在的问题是我们在spark submit中切换到Yarn簇模式。
如果我们使用集群模式提交作业。那些导出的变量在程序中是空的。
根据下面的博客,如果我使用“spark.yarn.appmasterenv”,我就能够访问那些导出的变量。我们正在用shell脚本导出将近40个变量。所以为40个变量构建conf是一项乏味的任务(变量(动态变化)
如何通过spark submit在集群模式下将环境变量传递给spark驱动程序
现在我的问题是:有没有一种方法可以在一个文件中指定多个环境变量并将其传递给spark submit。
这使得代码更改非常少。
请帮忙。提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题