我想安装基于hadoop的apachehawq。
在安装hawq之前,我应该安装hadoop并配置我的所有节点。
我有四个节点如下,我的问题是打击。
我应该为安装hadoop发行版吗 hawq-master
?
1. hadoop-master //namenode, Secondary Namenode, ResourceManager, HAWQ Standby,
2. hawq-master //HAWQ Master
3. datanode01 //Datanode, HAWQ Segment
4. datanode02 //Datanode, HAWQ Segment
我将每个节点的角色写在节点旁边,如上所述。在我看来,我应该安装hadoop hadoop-master
, datanode01
以及 datanode02
我应该准备好了 hadoop-master
作为namenode(master),其他作为 datanode
(从)。然后,我将在所有节点上安装apachehawq。我会准备好的 hawq-master
作为主节点和 hadoop-master
作为hawq备用,最后将另外两个节点作为hawq段。
我想要的是基于hadoop安装hawq。所以,我认为 hawq-master
应该构建在hadoop之上,但是与 hadoop-master
.
如果我继续上面的过程,那么我认为我不必在上面安装hadoop发行版 hawq-master
. 成功安装基于hadoop的hawq安装,我的想法正确吗?
如果hadoop应该安装在 hawq-master
那么哪一个是正确的呢?
1. `hawq-master` should be set as `namenode` .
2. `hawq-master` should be set as 'datanode`.
任何帮助都将不胜感激。
1条答案
按热度按时间62lalag41#
老实说,如果hadoop和hawq配置正确的话,它们的安装方式没有严格的限制。
出于您的考虑,“我认为hawq master应该构建在hadoop之上,但是与hadoop master没有任何联系”。在我看来,应该是“hawq应该建立在hadoop之上”。我们还配置了hawq主conf文件(hawqsite.xml),以使hawq与hadoop建立连接。
通常,对于hawq主机和hadoop主机,我们可以在一个节点上安装每个组件,但是我们可以在一个节点上安装一些组件来保存节点。但对于hdfs datanode和hawq段,我们通常将它们安装在一起。考虑到每台机器的工作量,我们可以按如下方式安装它们:
如果您使用yarn集成配置hawq,集群中将有resourcemanager和nodemanager。
将它们安装在一起并不意味着它们有连接,而是您的配置文件使它们可以相互连接。你可以把所有的主组件安装在一起,但是可能太重了。有关apache hawq的更多信息,请访问http://incubator.apache.org/projects/hawq.html 看一些文件http://hdb.docs.pivotal.io/211/hdb/index.html.
此外,您还可以订阅开发人员和用户邮件列表,将电子邮件发送到dev-subscribe@hawq.incubator.apache.org / user-subscribe@hawq.incubator.apache.org 订阅并发送电子邮件至dev@hawq.incubator.apache.org / user@hawq.incubator.apache.org 问问题。