我对测试还不熟悉。是否有一些测试框架来测试在hadoop中运行的应用程序。我有一些在2节点集群中运行的jar文件。
7fyelxc51#
从hadoop测试开始的第一个地方是使用mrunit编写本地单元测试。它相当于junit,但用于为mapreduce编写单元测试。mrunit教程-https://cwiki.apache.org/confluence/display/mrunit/mrunit+tutorial
pjngdqdw2#
您还可以通过设置以下配置在本地jobtracker jvm上运行开发人员测试:
Configuration conf = new Configuration(); conf.set("fs.default.name", "file:///"); conf.set("mapred.job.tracker", "local"); Path input = new Path(getClass().getResource("/") + "testfile"); Path output = new Path(getClass().getResource("/") + "testfile_output");
您可以参考“hadoop权威指南”一书的第5章
2条答案
按热度按时间7fyelxc51#
从hadoop测试开始的第一个地方是使用mrunit编写本地单元测试。它相当于junit,但用于为mapreduce编写单元测试。
mrunit教程-https://cwiki.apache.org/confluence/display/mrunit/mrunit+tutorial
pjngdqdw2#
您还可以通过设置以下配置在本地jobtracker jvm上运行开发人员测试:
您可以参考“hadoop权威指南”一书的第5章