浏览下面的资源以定义spark作业的资源配置,出现了几个问题。
有
(1) spark-submit --master yarn --driver-cores 5 --executor-cores 5 ...
和
(2) spark-submit --master yarn --conf spark.driver.cores=5 --conf spark.executor.cores=5 ...
(1)和(2)相同吗?如果没有,两者有什么区别?我猜同样的答案也适用于内存配置。
还有,这两者有什么区别吗 spark.executor.memory
以及 spark.executor.pyspark.memory
如果我用pyspark运行我的应用程序?
资源:https://mapr.com/blog/resource-allocation-configuration-spark-yarn/
暂无答案!
目前还没有任何答案,快来回答吧!