在hadoop中运行的qa测试应用程序

r3i60tvu  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(286)

我对测试还不熟悉。是否有一些测试框架来测试在hadoop中运行的应用程序。我有一些在2节点集群中运行的jar文件。

7fyelxc5

7fyelxc51#

从hadoop测试开始的第一个地方是使用mrunit编写本地单元测试。它相当于junit,但用于为mapreduce编写单元测试。
mrunit教程-https://cwiki.apache.org/confluence/display/mrunit/mrunit+tutorial

pjngdqdw

pjngdqdw2#

您还可以通过设置以下配置在本地jobtracker jvm上运行开发人员测试:

Configuration conf = new Configuration();
conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");

Path input = new Path(getClass().getResource("/") + "testfile");
Path output = new Path(getClass().getResource("/") + "testfile_output");

您可以参考“hadoop权威指南”一书的第5章

相关问题