我们有一个要求,即在第0天,我们将运行历史spark作业,以将大量数据加载到hbase中。在每日发布的基础上,我们将只添加一天结束的数据到hbase。
要处理这种情况,我们需要在运行历史作业之前更改(增加大小)hbase表的memstore。在历史作业完成后,我们希望将memstore恢复为默认大小。
这可能吗?另外,我们如何通过hbase shell仅为受影响的表更改memstore大小?
谢谢
我们有一个要求,即在第0天,我们将运行历史spark作业,以将大量数据加载到hbase中。在每日发布的基础上,我们将只添加一天结束的数据到hbase。
要处理这种情况,我们需要在运行历史作业之前更改(增加大小)hbase表的memstore。在历史作业完成后,我们希望将memstore恢复为默认大小。
这可能吗?另外,我们如何通过hbase shell仅为受影响的表更改memstore大小?
谢谢
1条答案
按热度按时间643ylb081#
memstore的大小是通过hbase-site.xml在系统范围内配置的,因此无法在运行时更改它。要修改它,您需要更改
hbase.hregion.memstore.flush.size
然后重新启动系统。无法为列族设置不同的memstore大小。