我已经使用smack堆栈开发了一个应用程序,目前正在进行一个研究项目,以便在集群内自动分配资源(我们使用dc/os)。
为了向上或向下扩展kafka或cassandra,marathon框架的工作就是轻松地启动或多或少的示例。现在我想为apachespark做“运行时扩展”。的配置 spark.cores.max
,在spark配置手册中描述的,可以很好地设置可以请求多少cpu内核的初始限制。
当以“粗粒度”共享模式在独立部署群集或mesos群集上运行时,从整个群集(而不是从每台计算机)请求应用程序的最大cpu内核数。如果未设置,默认值将是spark的独立群集管理器上的spark.deploy.defaultcores,或mesos上的infinite(所有可用核心)。
spark已经自动启动了新的执行器,但只要 spark.cores.max
未超出(暂时不考虑ram)。
我现在的问题是,如何在运行时扩展(即允许spark从集群请求更多CPU),而不必使用更新的配置重新部署应用程序?
暂无答案!
目前还没有任何答案,快来回答吧!