mapreduce—有没有工具可以找到hadoop集群在一天中的什么时候通常没有负载,并且每天在那个时候提交作业

vulvrdjw  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(151)

我需要在我们的生产集群中安排一个作业。我正在尝试根据过去30天的集群负载情况,在集群预计空闲的时候安排作业。oozie没有任何现成的功能支持这一点。我正在尝试使用oozie中的一些技巧来实现这一点。
在过去的几天里,有没有标准的方法来找出集群通常是什么时候免费的?并且每天在那个时候自动提交作业。

41ik7eoe

41ik7eoe1#

您可以使用cloudera管理器来检查整个集群的运行状况(如果您使用的是cdh)。
有cloudera manager API可供交互。你也可以看看这一点,让你的工作。
http://blog.cloudera.com/blog/2012/09/automating-your-cluster-with-cloudera-manager-api/

alen0pnh

alen0pnh2#

linkedin白象似乎就是你要找的那个。ganglia有相当好的api来衡量集群的使用情况,您可以使用它。

相关问题