spark executor在作业执行后没有释放内存

9njqaruj  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(374)

我在kubernetes上设置了一个spark集群,并创建了一个应用程序,在其中我初始化了spark上下文,它是一个多线程应用程序。现在,我已经创建了四个执行器与4gb内存和4个核心,当我提交我的Spark作业,然后执行器消耗了一些内存,现在它没有释放后,作业完成的执行器内存。我也尝试过sqlcontext.clearcache()和spark.catalog.clearcache()。但执行者仍然没有释放内存。我试图关闭执行器,但我正在寻找一些其他解决方案,其中我不需要停止我的执行器,这样我就可以释放执行器内存而不停止执行器。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题