我看到一个spark submit命令，参数如下
spark-submit --class ${my_class} \--master yarn \--deploy-mode cluster \--executor-cores 2 \ <--- executor cores--driver-cores 2\ <--- driver cores--num-executors 12 \ <--- number of executors--files hdfs:///blah.xml \--conf spark.executor.instances=15 \ <--- number of executors again?--conf spark.executor.cores=4 \ <--- driver cores again?--conf spark.driver.cores=4 \ <--- executor cores again?
对于executor和driver节点，似乎可以有多种方式设置核心号和示例号，只是想知道，在上面的设置中，哪种方式优先，覆盖另一种？这个 -- 参数或 conf 参数？最终有多少核心和示例被赋予了spark任务？
1条答案
按热度按时间holgip5t1#
根据偏好顺序选择配置。
优先级方面，通过set（）在应用程序中定义的配置将获得最高优先级。第二个优先级是spark submit参数，然后下一个优先级是default config参数。
--executor-cores 2 \ <--- executor cores --driver-cores 2\ <--- driver cores --num-executors 12 \ <--- number of executors上面的配置将优先于--conf参数，因为这些属性用于覆盖默认的conf优先级。