hadoop集群系统测试自动化框架

moiiocjp  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(650)

我正在寻找hadoop集群的系统测试框架。支持的用例应该包括hdfs的系统测试、map reduce作业和配置单元查询。我从apache找到了一个叫做herriot的,但我不确定它是否还在维护中。你们知道现有的框架吗?

tct7dpnv

tct7dpnv1#

请看1和2以确定集群的基准。它已经得到了测试的代码和数据。自动化它们应该不是什么大任务。

xzabzqsa

xzabzqsa2#

请看一下hadooptest,一个用于hadoop的可靠性测试框架

bn31dyow

bn31dyow3#

hadoop已经有了基准测试,并保存在test.jar和example.jar中,您只需找到并自动执行即可。从奥莱利和其他书

% hadoop jar $HADOOP/hadoop-*-test.jar

对于dfsio测试:testdfsio测试hdfs的i/o性能。
它通过使用mapreduce作业作为并行读写文件的方便方式来实现这一点

% hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO

 command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB]
 [-resFile resultFileName] [-bufferSize Bytes] 

 ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles
         10 -fileSize 10000 
 ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

用于测试map reduce

ex3: % hadoop jar  $HADOOP/hadoop-*-examples.jar randomwriter random-data

   ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data

where$hadoop=保存这些jar的hadoop安装路径

相关问题