是否可以使用集群的全部资源运行多个spark文件？

odopli94 于 2021-05-29 发布在 Spark

关注(0)|答案(1)|浏览(451)

我有a.py和b.py文件。
a、 py>>sparkconf（设置为master）使用集群和master的所有资源
b、 py>>sparkconf（设置为local）仅使用master的资源
如果我并行运行这两个脚本，那么脚本正在运行。但如果我把sparkconf改成下面提到的，
a、 py>>sparkconf（设置为master）使用集群和master的所有资源
b、 py>>sparkconf（设置为master）使用集群和master的所有资源
然后，一个进入运行状态，另一个进入等待状态，因为没有可分配给另一个脚本的资源。
那么对于第二种情况，是否可以并行运行这两个脚本呢？

apache-spark pyspark

来源：https://stackoverflow.com/questions/62618886/is-it-possible-to-run-multiple-spark-files-with-full-resources-of-a-cluster

1条答案

按热度按时间

kx1ctssn1#

假设spark是独立的，根据手册：https://spark.apache.org/docs/latest/spark-standalone.html#launching-spark应用，是的，它是：
独立集群模式目前只支持跨应用程序的简单fifo调度程序。但是，要允许多个并发用户，可以控制每个应用程序将使用的最大资源数。默认情况下，它将获取集群中的所有核心，这只有在一次只运行一个应用程序时才有意义。通过在sparkconf中设置spark.cores.max，可以限制核心数。例如：

val conf = new SparkConf()
  .setMaster(...)
  .setAppName(...)
  .set("spark.cores.max", "10")
val sc = new SparkContext(conf)

赞(0）回复(0）举报 2021-05-29

我来回答

是否可以使用集群的全部资源运行多个spark文件？

1条答案

相关问题

热门标签

最新问答