我已经建立了一个多节点hadoop集群。我打算在不使用mr的情况下测试hdfs的性能。hadoop测试jar中有这样的基准吗？谢谢
vfhzx4xs1#
测试：默认输出目录是/benchmarks/testdfsio在读测试之前运行写测试运行写测试的语法如下：
TestDFSIO.0.0.4 Usage: hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes]
例如：运行写测试生成10个大小为1gb的输出文件（总共10gb）的命令是： $ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 同样，使用10个大小为1gb的输入文件进行的读取测试是：
$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000
$ hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000
使用以下方法清理和删除测试数据： $ hadoop jar hadoop-*test*.jar TestDFSIO -clean 解释测试结果：样品：
$ hadoop jar hadoop-*test*.jar TestDFSIO -clean
----- TestDFSIO ----- : write Date & time: Fri Apr 08 2011 Number of files: 1000 Total MBytes processed: 1000000 Throughput mb/sec: 4.989 Average IO rate mb/sec: 5.185 IO rate std deviation: 0.960 Test exec time sec: 1113.53 ----- TestDFSIO ----- : read Date & time: Fri Apr 08 2011 Number of files: 1000 Total MBytes processed: 1000000 Throughput mb/sec: 11.349 Average IO rate mb/sec: 22.341 IO rate std deviation: 119.231 Test exec time sec: 544.842
这里最值得注意的指标是吞吐量mb/秒和平均io速率mb/秒。来源
1条答案
按热度按时间vfhzx4xs1#
测试：
默认输出目录是/benchmarks/testdfsio
在读测试之前运行写测试
运行写测试的语法如下：
例如：运行写测试生成10个大小为1gb的输出文件（总共10gb）的命令是：
$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000同样，使用10个大小为1gb的输入文件进行的读取测试是：使用以下方法清理和删除测试数据：
$ hadoop jar hadoop-*test*.jar TestDFSIO -clean解释测试结果：样品：
这里最值得注意的指标是吞吐量mb/秒和平均io速率mb/秒。
来源