优化hbase上的更新批处理操作

qeeaahzv  于 2021-06-09  发布在  Hbase
关注(0)|答案(0)|浏览(305)

我在hbase中有两个主表(比如tabl1、tabl2),分别包含34874716和25167890行。现在每天生成两个临时表,其中包含2-2.5lac行。我有一个cron作业将临时表行更新为主表。大约需要4.5-5个小时。cron-job更新主表的算法是:如果主表中存在行,则逐行从主表中取出,如果不存在行,则逐行更新主表。
仅供参考,我有这个cron作业运行在同一台机器上 region servershbase 正在运行。我想尽量减少这个cron作业的时间和内存利用率。那么,有没有比cron作业的上述链接中建议的更好的方法呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题