我想确保我的spark作业占用的内存不会超过我传递的内存,假设400gb是该作业可以使用的最大内存,根据我的理解,关闭动态分配(spark.dynamicallocation.enabled=false)并传递--num executors--executor memory--driver memory在cloudera堆栈中执行任务?如果错误,请更正。有没有其他设置,我必须设置,以确保Spark工作不超出限制。
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!