hadoop—当动态分配设置为true时，手动分配内核数

c86crjj0 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(473)

我们有一个3节点的集群。每个节点有20个内核和100gb内存。我们将动态资源分配设置为true。
我想根据我的愿望调整资源。
例如： spark-submit 只使用一个核心。默认情况下，它将拾取4-6个核心。
我想为我运行的每一个spark提交设置这个。
我怎样才能达到我的要求。

hadoop hdfs apache-spark pyspark

来源：https://stackoverflow.com/questions/46696072/manually-allocate-number-of-cores-when-dynamic-allocation-is-set-to-true

1条答案

按热度按时间

iibxawm41#

spark.dynamicAllocation.enabled 是应用程序的属性。可以在每次提交时使用以下方法之一设置：
经过 --conf 选择spark提交。
设置 spark.dynamicAllocation.enabled 在 SparkConf 对象。
使用 config 方法 SparkSessionBuilder .

赞(0）回复(0）举报 2021-06-02

我来回答

hadoop—当动态分配设置为true时，手动分配内核数

1条答案

相关问题

热门标签

最新问答