hadoop群集和客户端连接

4ngedf3f  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(413)

我有hadoop集群。现在我想在另一台机器上安装pig和hive作为客户端。客户机不会是该集群的一部分,所以有可能吗?如果可能的话,那么如何将客户机与集群连接起来呢?

j7dteeu8

j7dteeu81#

首先,如果您有hadoop集群,那么您必须有主节点(namenode)+从节点(datanode)
另一个是客户端节点。hadoop集群的工作原理是:

这里namenode和datanode组成hadoop集群,客户端将作业提交给namenode。
为了实现这一点,客户机应该拥有与namenode相同的hadoop发行版和配置副本。然后,只有客户端才知道job tracker在哪个节点上运行,以及namenode的ip以访问hdfs数据。
转到link1link2进行客户端配置。
根据你的问题
完成hadoop集群配置后(主+从+客户端)。您需要执行以下步骤:
在主节点上安装配置单元和清管器
在客户端节点上安装配置单元和pig
现在开始在客户机节点上编码pig/hive。
如有疑问,请随时发表评论。。。。!!!!!!

相关问题