我有hadoop集群。现在我想在另一台机器上安装pig和hive作为客户端。客户机不会是该集群的一部分,所以有可能吗?如果可能的话,那么如何将客户机与集群连接起来呢?
j7dteeu81#
首先,如果您有hadoop集群,那么您必须有主节点(namenode)+从节点(datanode)另一个是客户端节点。hadoop集群的工作原理是:这里namenode和datanode组成hadoop集群,客户端将作业提交给namenode。为了实现这一点,客户机应该拥有与namenode相同的hadoop发行版和配置副本。然后,只有客户端才知道job tracker在哪个节点上运行,以及namenode的ip以访问hdfs数据。转到link1link2进行客户端配置。根据你的问题完成hadoop集群配置后(主+从+客户端)。您需要执行以下步骤:在主节点上安装配置单元和清管器在客户端节点上安装配置单元和pig现在开始在客户机节点上编码pig/hive。如有疑问,请随时发表评论。。。。!!!!!!
1条答案
按热度按时间j7dteeu81#
首先,如果您有hadoop集群,那么您必须有主节点(namenode)+从节点(datanode)
另一个是客户端节点。hadoop集群的工作原理是:
这里namenode和datanode组成hadoop集群,客户端将作业提交给namenode。
为了实现这一点,客户机应该拥有与namenode相同的hadoop发行版和配置副本。然后,只有客户端才知道job tracker在哪个节点上运行,以及namenode的ip以访问hdfs数据。
转到link1link2进行客户端配置。
根据你的问题
完成hadoop集群配置后(主+从+客户端)。您需要执行以下步骤:
在主节点上安装配置单元和清管器
在客户端节点上安装配置单元和pig
现在开始在客户机节点上编码pig/hive。
如有疑问,请随时发表评论。。。。!!!!!!