在远程集群上运行带有hbase的map reduce

xxb16uws  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(295)

我有一个hbase集群,它有特定的数据。我还有一个hadoop集群,它也有一些数据。现在可以使用hbase集群中的数据在hadoop集群上运行map reduce作业了吗?用Pig怎么做?

6qfn3psc

6qfn3psc1#

您将遇到的主要问题是如何通过网络从Map器和还原器直接访问hbase区域服务器。你的服务器有直接的通信线路吗?大多数hadoop集群的网络都是这样设置的,所以这种类型的访问是不可能的,需要某种网关。如果你真的这么做了,就没有任何理由不能按照你的建议去做。
下一个问题是这是否是个好主意。两个集群之间的网络连接是什么?一个吗?这个链接是别人用的吗?

相关问题