dc/os-smack集群资源管理

ne5o7dgx  于 2021-06-26  发布在  Mesos
关注(0)|答案(0)|浏览(243)

我正在尝试使用1个主服务器和3个私有awsm3.xlarge示例(每个示例有4个处理器,15gbram)来设置dc/os spark kafka cassandra集群。
我有一些奇怪的行为,我已经在穗我几天前发生的问题。
在每个私有节点上,我都保留了以下固定资源(我说的是cpu使用,内存不是问题)
每个节点上0.5个CPU用于cassandra
Kafka0.3-0.5个CPU,每个节点一个
0.5cpu是mesos开销(我只是在dc/os ui中看到,它占用了0.5cpu,比一个节点上运行的所有服务的总和还要多->这可能属于某种mesos开销)
我可以用来运行spark作业的其余资源(大约2.5cpu)
现在,我想运行2个流作业,以便它们在集群的每个节点上运行。这要求我在dcos spark run命令中设置执行器的数量是3(尽管集群中有3个节点),以及cpu核心的数量是3(不可能设置1或2,因为就我所见,每个执行器的最小cpu是1)。当然,对于每个流作业,集群中的1个cpu被驱动程序占用。
我看到的第一个奇怪的情况是,mesos没有运行3个执行器,每个执行器有1个内核,而是在2个节点上启动2个执行器,其中一个节点有2个cpu,而另一个节点有1个cpu。即使有足够的资源,第三个节点上也没有启动任何东西。如何强制mesos在集群上运行3个执行器?
另外,当我用3个cpu运行1个管道时,我看到那些cpu被阻塞了,不能被其他流管道重用,即使它们不做任何工作负载。为什么mesos不能在应用程序之间转移可用资源?这不是使用mesos的主要好处吗?或者仅仅是没有足够的资源可以转移?
编辑
还有一个问题是,我是否可以为每个执行器分配少于一个cpu?
致以最诚挚的问候,
斯尔詹

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题