我想使用ycsb对hbase进行基准测试。这是我第一次用这两种方法。我已经阅读了一些在线教程，现在我需要创建一个大小为5gb的示例表。但我不知道如何：批处理将一堆数据放入表中将大小控制在5 gb左右谁能帮我一下吗？
ef1yzkbh1#
以前，我使用hbase性能评估工具将数据加载到hbase中。也许它能帮助你。hbase org.apache.hadoop.hbase.performanceevaluation此工具有多种选项。对于您的情况，您可以将数据大小设置为5gb。
vmdwslir2#
这非常简单，默认（核心）工作负载使用每个约1kb的字符串。所以要获得5gb，只需使用5000000条记录。可以通过指定 recordcount 参数，或者使用此参数创建自己的工作负载文件。下面是如何在命令行上执行此操作（使用包含的工作负载 workloada ):
recordcount
workloada
./bin/ycsb load hbase12 -P workloads/workloada -p recordcount=5000000
自定义文件如下所示：
recordcount=5000000 operationcount=1000000 workload=com.yahoo.ycsb.workloads.CoreWorkload readproportion=0.8 updateproportion=0.2 scanproportion=0 insertproportion=0
然后你就跑：
./bin/ycsb load hbase12 -P myWorkload
这会将所有数据插入数据库。
2条答案
按热度按时间ef1yzkbh1#
以前，我使用hbase性能评估工具将数据加载到hbase中。也许它能帮助你。
hbase org.apache.hadoop.hbase.performanceevaluation
此工具有多种选项。对于您的情况，您可以将数据大小设置为5gb。
vmdwslir2#
这非常简单，默认（核心）工作负载使用每个约1kb的字符串。所以要获得5gb，只需使用5000000条记录。
可以通过指定
recordcount参数，或者使用此参数创建自己的工作负载文件。下面是如何在命令行上执行此操作（使用包含的工作负载
workloada):自定义文件如下所示：
然后你就跑：
这会将所有数据插入数据库。