我有这样一个命令,在bask提示符下运行:
spark-shell --driver-memory 8g --executor-memory 64G --total-executor-cores 200 --executor-cores 150 -i /home/Scripts/Ref_script.scala
我正在尝试将其转换为spark submit脚本,但不确定上述选项如何转换为spark submit命令。当我查看spark submit命令时,它有一套完全不同的选项。
另外,在sparkshell中,为什么需要指定executor core?不是所有的“核心”在默认情况下都可用于脚本吗?我怎么知道什么是executor core的好数字?
暂无答案!
目前还没有任何答案,快来回答吧!