我有32个节点的集群,每个集群有64 gb内存和16个内核。我希望在32个节点中总共有25个执行器,这样就可以使用25个工人。
预期执行者orsnumber:25, cores:5 and 内存:40gb
我已提交参数为:
--executor-memory 40g
--driver-memory 200g
--executor-cores 5
--num-executors 25
--conf spark.ui.port=54322
--conf spark.driver.maxResultSize=0
--conf spark.sql.autoBroadcastJoinThreshold=-1
--conf spark.sql.shuffle.partitions=2000
在这里,每个worker中创建了32个具有5个内核和40gb的执行器。我如何限制遗嘱执行人少于工人人数?每个worker中的内存和内核是按预期获得的,但总执行者总是等于总worker。
暂无答案!
目前还没有任何答案,快来回答吧!