我用的是hdfs+hbase。我已经创建了一个数据库并运行了2个小时的测试。我想在测试运行后检查数据库大小的增加。我试着用以下方法进行阅读:
hadoop dfsadmin -report and
hadoop fs -dus /hbase.
还尝试使用
du -sk /HADOOP.
观察是在测试运行后,尺寸显示不增反减。
使用的版本:hadoop 1.0.0、hbase 0.90.5、zookeeper 3.3.4。
柱族上的压缩为“无”。
请帮助获得正确的过程来计算由于测试而增加的db大小。
1条答案
按热度按时间j2datikz1#
lakshmi,650k对于hbase/hadoop来说不算什么。默认的起始块大小是128m(如果我没有遗漏一些主要的更改的话),所以在创建表之后您应该不会看到任何重要的内容。实际上,表(hstore文件)应该位于
/hbase/<table-name>
区域内容正在更新中/hbase/<table-name>/<region>
(您可以通过hbase web ui查看区域信息)。如果您真的需要检查某些内容,请至少加载128m以上的数据。我通常至少做4GDB来测试区域分配。当前默认(从hbase 0.94开始)区域分割策略从填充的第一个128m开始分割区域,然后这种情况越来越少见。