如何使用不同的配置自动部署spark应用程序?

fdbelqdn  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(178)

我有一个spark应用程序。对于每个场景,逻辑都是简单和标准的。应用程序读取kafka主题,应用一些转换,并将其写入文件系统中的某个位置。
我有部署问题。我想在git上保留应用程序配置。我有大约300个不同的场景需要执行同一个应用程序jar。该应用程序是一个长期运行的spark应用程序。
如果有一个新的配置(新的场景),我想将它自动部署到集群(提交一个新的应用程序)。如果现有代码有变化,我想重新部署该应用程序而不触及其他应用程序。如果我更改应用程序代码,我希望将其部署到所有应用程序。
你怎么能解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题