区域服务器和其他服务器在哪里?

fkaflof6  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(540)

区域服务器在哪里?是用数据节点还是区域服务器,区域在不同的硬件中存在。
wal是否由表的数据和操作组成?
memstore做什么?它存储了wal的数据意味着什么?
Zookeeper实际上是做什么的?

guykilcj

guykilcj1#

1.区域服务器与数据节点位于同一位置。他们负责将数据作为3个副本存储在hdfs中。
2.wal类似于SQL server中的事务日志,它对所有操作进行排序,并在存储过程中出现故障时执行操作(为了避免丢失作为备份提供的数据)。
3.当将数据写入wal时,当达到memstore的限制(阈值级别)时,数据被刷新到同一存储中的hflie。
4.存储由集群信息组成的-.root.-表,帮助客户端读取数据。ie:它提供了向客户端查找数据的路径。

67up9zun

67up9zun2#

希望以下信息有帮助:
从技术上讲,hadoop集群中的datanode上存在一个区域服务器。区域存储在hdfs中。
客户端向hregionserver发出htable.put(put)请求,后者将详细信息传递给匹配的hregion示例。第一步是将数据写入writeahead日志(wal),由hlog类表示。
一旦数据被写入wal,它就会被放入memstore。同时,检查memstore是否已满,如果已满,则请求刷新磁盘。该请求由hregionserver中的一个单独线程提供服务,该线程将数据写入hdfs中的一个新hfile。
zookeeper协调客户端和hbase集群之间的通信。

相关问题