我在hbase中有两个主表(比如tabl1、tabl2),分别包含34874716和25167890行。现在每天生成两个临时表,其中包含2-2.5lac行。我有一个cron作业将临时表行更新为主表。大约需要4.5-5个小时。cron-job更新主表的算法是:如果主表中存在行,则逐行从主表中取出,如果不存在行,则逐行更新主表。
仅供参考,我有这个cron作业运行在同一台机器上 region servers
的 hbase
正在运行。我想尽量减少这个cron作业的时间和内存利用率。那么,有没有比cron作业的上述链接中建议的更好的方法呢?
暂无答案!
目前还没有任何答案,快来回答吧!