我在一个大数据平台上工作,需要对hbase进行数据摄取。
有两种情况:
每个周末,我们从一些缓存中读取数据,通过rest公开,然后转储到hbase中。
每天都有一个java进程在特定时间运行,从消息传递主题中提取数据,然后需要转储到hbase中。
在这两种情况下,在将数据放入hbase之前,我们需要执行增量检测,然后才能查询数据的最新视图。同时,我们也需要保持历史。
两种情况下的数据结构保持不变。只是来源不同。我需要提出一个hbase模式。我看到两种选择:
使用一个表-同时具有数据的历史记录和最新视图
使用多个表-一个表有最新的数据视图,另一个表有历史记录。
我是hbase的新手,所以不确定哪种方法最好。我能试试什么?
暂无答案!
目前还没有任何答案,快来回答吧!