设置每个spark阶段的内存

f4t66c6m  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(354)

有没有一种方法可以让我在不同的Spark阶段使用不同数量的记忆?
我有一个阶段,是真正的记忆饥饿和一堆不需要太多的记忆。现在我的工作是在工作的整个生命周期中保留大量的内存,以满足对内存的渴求阶段,尽管只需要一小部分时间的内存。

kxkpmulp

kxkpmulp1#

您可以潜在地启用动态执行器分配,为非常内存密集的阶段增加非常高的分区,然后减少分区。不幸的是,Yarn不接受容器的动态上浆,一旦要求,它们是静态的。动态分配至少允许您在进入内存密集型部分时启动一堆工作线程。

相关问题