我正在寻找hadoop集群的系统测试框架。支持的用例应该包括hdfs的系统测试、map reduce作业和配置单元查询。我从apache找到了一个叫做herriot的,但我不确定它是否还在维护中。你们知道现有的框架吗?
tct7dpnv1#
请看1和2以确定集群的基准。它已经得到了测试的代码和数据。自动化它们应该不是什么大任务。
xzabzqsa2#
请看一下hadooptest,一个用于hadoop的可靠性测试框架
bn31dyow3#
hadoop已经有了基准测试,并保存在test.jar和example.jar中,您只需找到并自动执行即可。从奥莱利和其他书
% hadoop jar $HADOOP/hadoop-*-test.jar
对于dfsio测试:testdfsio测试hdfs的i/o性能。它通过使用mapreduce作业作为并行读写文件的方便方式来实现这一点
% hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes] ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles 10 -fileSize 10000 ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000
用于测试map reduce
ex3: % hadoop jar $HADOOP/hadoop-*-examples.jar randomwriter random-data ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data
where$hadoop=保存这些jar的hadoop安装路径
3条答案
按热度按时间tct7dpnv1#
请看1和2以确定集群的基准。它已经得到了测试的代码和数据。自动化它们应该不是什么大任务。
xzabzqsa2#
请看一下hadooptest,一个用于hadoop的可靠性测试框架
bn31dyow3#
hadoop已经有了基准测试,并保存在test.jar和example.jar中,您只需找到并自动执行即可。从奥莱利和其他书
对于dfsio测试:testdfsio测试hdfs的i/o性能。
它通过使用mapreduce作业作为并行读写文件的方便方式来实现这一点
用于测试map reduce
where$hadoop=保存这些jar的hadoop安装路径