测试运行后hbase db大小增加

5ktev3wc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(406)

我用的是hdfs+hbase。我已经创建了一个数据库并运行了2个小时的测试。我想在测试运行后检查数据库大小的增加。我试着用以下方法进行阅读:

hadoop dfsadmin -report and
hadoop fs -dus /hbase.

还尝试使用

du -sk /HADOOP.

观察是在测试运行后,尺寸显示不增反减。
使用的版本:hadoop 1.0.0、hbase 0.90.5、zookeeper 3.3.4。
柱族上的压缩为“无”。
请帮助获得正确的过程来计算由于测试而增加的db大小。

j2datikz

j2datikz1#

lakshmi,650k对于hbase/hadoop来说不算什么。默认的起始块大小是128m(如果我没有遗漏一些主要的更改的话),所以在创建表之后您应该不会看到任何重要的内容。实际上,表(hstore文件)应该位于 /hbase/<table-name> 区域内容正在更新中 /hbase/<table-name>/<region> (您可以通过hbase web ui查看区域信息)。
如果您真的需要检查某些内容,请至少加载128m以上的数据。我通常至少做4GDB来测试区域分配。当前默认(从hbase 0.94开始)区域分割策略从填充的第一个128m开始分割区域,然后这种情况越来越少见。

相关问题