在aws emr上安装druid

hjzp0vay  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(661)

刚开始探索Druid我们在链接上找不到任何在aws上安装Druid的博客,有没有机会在aws emr上安装Druid?如果是这样,如果有任何每一个定义的云形成执行它将是我的Druid研发完全帮助。

dxpyg8gm

dxpyg8gm1#

很难建立一个基本的单簇Druid
使用单节点主机启动emr,如r3.4XL
下载暗示tar(与Druid和pivot一起提供),https://docs.imply.io/on-prem/quickstart

tar -xzf imply-3.1.8.1.tar.gz cd imply-3.1.8.1
bin/supervise -c conf/supervise/quickstart.conf

如果您正在寻找一个完整的集群部署,emr不是合适的工具。如果你知道eks/kubernetes,我认为最简单的方法就是使用helmhttps://github.com/helm/charts/tree/master/incubator/druid
另一个选择是寻找他们也围绕Druid坚实的文档。Druid自己的文档非常密集。我发现暗示对初学者更好。https://docs.imply.io/cloud/
尽管对于poc来说,一个r3.4XL或i3.4XL的存储容量为200g就足够了

70gysomp

70gysomp2#

您找不到太多文档的最可能原因是这两件事有着不同的性质。
Druid意味着长寿命和状态,而emr hadoop变种意味着以一种更短暂的方式上下旋转。因此,这种组合有点尴尬。
考虑使用不同的hadoop发行版,比如hdp。当然,如果需要,您可以轻松地将其部署在aws上,如果您希望最小化基础设施成本,也可以将其部署在您自己的硬件上。
免责声明:我是cloudera的员工,cloudera是hdp的分销商,hdp是目前druid下最常见的hadoop平台。

相关问题