我对spark还比较陌生,正在探索向集群提交spark作业的主题。据我所知,每一份工作本身就是一份独立的申请。根据我们的需求,我们需要访问spark会话(在一个spark submit作业中)在随后spark submit应用程序创建的另一个会话中创建的表。目前有没有办法做到这一点?如果是这样的话,任何关于如何做到这一点的见解都会有所帮助。
注:我发现https://medium.com/@kar9475/data-sharing-between-multiple-spark-jobs-in-databricks-308687c99897但只讨论单个应用程序的共享状态。
暂无答案!
目前还没有任何答案,快来回答吧!