在两个hbase群集之间同步数据

mwngjboj  于 2021-06-07  发布在  Hbase
关注(0)|答案(0)|浏览(282)

在当前的up中,我们有两个独立的管道,每个数据中心一个,将数据写入单独的hbase集群。如果由于dc关闭或管道中的其他问题导致写入某个群集时出现问题,则群集之间的数据有时可能不同步。
由于查询api随机选择两个可用hbase集群中的一个作为其数据源,因此返回的数据可能不完整。一种选择是同时查询集群和合并数据集,然而,这是资源密集型的,并且增加了总体延迟。
寻找使两个DC中的群集之间的数据定期同步的方法(理想情况下每天一次—群集应在同步期间继续执行读/写操作)。我相信本机hbase复制与主从模式一起工作,在这种模式中,只有主服务器接受写入,但是,我们不使用本机复制,因为我们正在写入两个集群以获得弹性。
这是一个大规模的建立。每个群集的一些近似统计:

100 tables
60 region servers
600 regions per region server
200 billion new rows added per day

感谢你的见解。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题