我正在寻找一个开放源码的系统来管理我的大数据集群，它由50多台机器组成，包括hadoop、hdfs、hive、spark、oozie、hbase、zookeeper、kylin等组件。我想在web系统中管理它们。“管理”的含义是：
我只需一次点击就可以一个一个地重新启动组件，比如当我点击“重启”按钮时，组件zookeeper就会被一台机器重新启动
我只需一次点击就可以部署一个组件，比如部署一个新的zookeeper时，我可以在一台机器上准备一个编译好的zookeeper，然后点击“部署”，它会自动部署到所有机器上。
我只需单击一次即可升级组件，例如当我要更新zookeeper群集时，我可以将更新的zookeeper放入计算机中，然后单击“更新”，则更新的zookeeper将覆盖其他计算机中的所有旧版本的zookeeper。
总之，我想要的是一个大数据集群的管理系统，比如重启、部署、升级、查看日志、修改配置等等，或者至少是其中的一些。
我考虑过ambari，但它只能用于从绝对零开始部署我的整个系统，但我的大数据集群已经运行了1年。
有什么建议吗？
1条答案
按热度按时间iovurdzv1#
Ambari就是你想要的。它是管理hadoop堆栈的唯一开源解决方案，可以满足您列出的需求。您是对的，它不适用于已经配置好的集群，这是因为要实现与所有这些服务的紧密集成，它必须知道它们是如何配置的，所有的东西都在哪里，并且知道每个集群都有哪些配置。Ambari知道这一点的唯一方法是，它是否被用来提供这些服务。
花时间用ambari重新创建集群可能会让人觉得很痛苦，但从长远来看，它会带来回报，因为它增加了升级和管理服务的能力，因此很容易向前发展。