我可以访问一个只有spark1.6可用的大型多租户yarn集群(在集群本身和启动作业的头服务器上)。
我想在该集群上运行spark2作业(最好是几天前的最新版本),并为该作业构建一个deb/rpm包。
编写作业本身很简单,我可以将作业构建为一个包含所有spark 2程序集的程序集。
但是,这就留下了使用spark submit启动作业的问题,我在head节点上没有这个问题。如果这是一个简单的黑客一次性的事情,我只是展开了整个星火2的头部节点,并试图启动一个tarball。但在这种情况下,这可能是不可能的。
我想用任何需要的环境变量作为普通java作业运行该作业,并为我的普通java应用程序提供main()函数来引导spark作业的提交
有没有一种方法可以构建一个spark作业,使其“自我提交”并在额外的spark提交代码中编译?
暂无答案!
目前还没有任何答案,快来回答吧!