java—在spark executor中支持动态类加载的方法

5n0oy7gb  于 2021-08-20  发布在  Java
关注(0)|答案(0)|浏览(241)

我需要根据执行器将要执行的任务在执行器上加载一些自定义JAR,而这些JAR在类路径上不可用(我们对此有充分的理由)。
当前的解决方案:我们可以通过提供像map/flatmap这样的spark函数的 Package 器在一定程度上解决这个问题,我们通过截取函数类“call”方法并使用新的jar创建类加载器来实现这一点。我们需要装载的jar是通过SparkFile装运的。
挑战:我们被困在需要支持所有其他spark api方法的地方,这些方法不支持或没有任何功能接口,例如读写方法。
想法:一个想法是使用aop和拦截 org.apache.spark.scheduler.ResultTask.runTask(..)) 在遗嘱执行人方面,但无法使其工作。
任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题