有没有办法创建一个自动缩放hadoop hbase集群

s3fp2yjn  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(296)

我在我的web服务器上使用了aws自动缩放,在hadoop habse集群上使用了apachewhirr。apache whirr是否具有自动缩放属性。

zzoitvuj

zzoitvuj1#

您可以使用apachemesos,它是一个基于容器的框架。mesos在容器上工作(例如dockers启动服务)。在mesos中,您可以配置所需的示例数、配置资源、放大/缩小等。它还将负责更新和维护进程的状态。最近发布了hbaseconf2015,adobe已经开始在生产中使用mesos进行自动伸缩。您还可以使用googlekuberneetes或marathon来管理集群和配置。我个人在本地集群上尝试过这个。欲了解更多信息,请点击此链接
mesos的基本介绍和特性供快速参考[来源:apache网站]
什么是mesos?一个分布式系统内核
mesos是使用与linux内核相同的原理构建的,只是在不同的抽象级别上。mesos内核在每台机器上运行,并为应用程序(如hadoop、spark、kafka、elasticsearch)提供api,用于跨整个数据中心和云环境进行资源管理和调度。
项目特点
可扩展到10000个节点
使用zookeeper的容错复制主从机
支持docker容器在具有linux容器的任务之间进行本机隔离
多资源调度(内存、cpu、磁盘和端口)
用于开发新的并行应用程序的java、python和c++api
用于查看群集状态的web ui

相关问题