spark关闭动态分配

oxcyiej7  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(362)

我想确保我的spark作业占用的内存不会超过我传递的内存,假设400gb是该作业可以使用的最大内存,根据我的理解,关闭动态分配(spark.dynamicallocation.enabled=false)并传递--num executors--executor memory--driver memory在cloudera堆栈中执行任务?如果错误,请更正。
有没有其他设置,我必须设置,以确保Spark工作不超出限制。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题