可以在一个主spark作业中生成多个spark作业吗？我的主spark作业的驱动程序在yarn cluster上启动，会做一些预处理，在此基础上，它需要在yarn cluster上启动multilple spark作业。不确定这是不是正确的模式。
主spark作业将启动其他spark作业，类似于在spark驱动程序中调用multiple spark submit。新作业的这些派生线程将是完全不同的组件，因此不能使用spark操作来实现。

请分享你的想法。

为了更好的理解，下面是我的示例代码。。

Object Mainsparkjob {
main(...){
val sc=new SparkContext(..)
Fetch from hive..using hivecontext
Fetch from hbase
//spawning multiple Futures..
Val future1=Future{
Val sparkjob= SparkLauncher(...).launch; spark.waitFor
}
Similarly, future2 to futureN.
future1.onComplete{...}
}
}//end of main spark job