hbase hdfs zookeeper

qzwqbdag  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(341)

现在我正在学习hbase。我将hbase集群和hadoop集群设置为:

server1: Namenode HMaster
server2: datanode1 RegionServer1 HQuorumPeer
Server3: datanode2 RegionServer2 HQuorumPeer
Server4: datanode3 RegionServer3 HQuorumPeer

我对hbase集群有几个问题:

1: All RegionServers must be in the Hadoop Cluster so it can use HDFS to store 
   data, even though it will store data into local file system, right?
2: What does RegionServer do? Does the HMaster give the job to all RegionServeres 
   and let them running parallel, like tasktracker in datanode? 
3: What does zookeeper do? Do I need to setup zookeeper in all RegionServers 
   nodes and the master node? 
4: It is related to #3. I know HBase uses zookeeper to recovery once regionServer 
   is down. How does it specific work?
1qczuiv0

1qczuiv01#

所有区域服务器都必须在hadoop集群中,这样它就可以使用hdfs来存储数据,即使它将数据存储到本地文件系统中,对吗?
对。RegionServer是负责在hbase群集中存储数据的守护程序。您将数据存储在hbase表中,这些表分布在集群中多个RegionServer的多个区域中。尽管数据进入RegionServer,但它实际上存储在hdfs中。但是,如果您是在一个独立的设置hdfs不使用。数据直接存储在本地fs中。它类似于任何db和fs。以msql和ext3为例。是的,所有的hdfs数据实际上都存储在你的磁盘上。你不能直接看到它。
regionserver做什么?hmaster是否将作业分配给所有RegionServer并让它们并行运行,如datanode中的tasktracker?
正如上面注解中指定的,regionserver是在hbase集群中实际存储数据的守护进程。很抱歉,我没有完全理解这个问题的第二部分。你说的像datanode中的tasktracker是什么意思?在hbase集群中,hmaster是负责监视集群中所有regionserver示例的守护进程,是所有元数据更改的接口。它的工作是监督和管理。RegionServer不像TaskTracker那样运行任何作业。他们只是存储数据,负责服务和管理区域等工作。
Zookeeper是做什么的?是否需要在所有RegionServer节点和主节点中设置zookeeper?
Zookeeper负责协调窗帘后面的一切。它是用于维护配置信息、命名、提供分布式同步和提供组服务的集中式服务。分布式hbase设置依赖于正在运行的zookeeper集群。所有参与的节点和客户端都需要能够访问正在运行的zookeeper集合。hbase默认管理zookeeper集群。它作为hbase启动/停止过程的一部分启动和停止。但是,您也可以独立于hbase管理zookeeper集合,只需将hbase指向它应该使用的集群。不必在所有节点上都运行zookeers。只要决定一些适合你的集群的数字。这里需要注意的一点是,您应该始终使用奇数个Zookeeper。
它与#3有关。我知道一旦regionserver关闭,hbase会使用zookeeper进行恢复。它是如何工作的?
每个regionserver都连接到zookeeper,并且主机监视这些连接。zookeeper通过超时来管理心跳。因此,在超时时,hmaster会将区域服务器声明为dead,并启动恢复过程。在恢复过程中会发生以下情况:
确定一个节点已关闭:一个节点可以仅仅因为过载或死机而停止响应。
恢复正在进行的写入:即读取提交日志并恢复未刷新的编辑。
重新分配区域:区域服务器以前正在处理一组区域。此集合必须重新分配到其他区域服务器,具体取决于它们各自的工作负载。
这个过程实际上更复杂一些。你可以在这里找到更多。我还建议你仔细阅读一下拉尔斯的《hbase权威指南》一书,以便对hbase有所了解。
hth公司

相关问题