我对hadoop还很陌生,我正在尝试了解如何为hadoop应用程序运行不同类型的测试用例。
我们的应用程序由pig脚本和许多处理hdf的helper类/udf组成。因此,从集成测试用例的Angular 来看,如果我们可以在hdfs本身上测试helper类逻辑,那就很好了。
我编写了几个简单的JUnit4测试用例并运行了以下程序:hadoop org.junit.runner.junitcore datamodel.testdomesticdatamodel
我得到了运行测试用例时通常看到的输出。
对于运行pig测试用例,我可以使用pigunit。所以这两个简单的方法可能会解决我的问题。
我的问题是:
1-在测试实用程序类的简单方法中有什么陷阱吗?这能保证在所有hadoop系统上工作吗?当然,检查测试脚本的失败可能是一种手动操作。但除此之外还有什么问题吗?
2.“hadoop主类名”调用是如何工作的?主类如何查询hdfs?
我用jython pyunit玩了同样的把戏。hadoop org.python.util.jython unitest.py这似乎也可以。事实上,我将其与maven exec插件集成,如果测试用例失败,maven构建本身也会失败。因此,错误被告知是件好事。
对于这种为hadoop编写pyunit测试用例的方法有什么想法?
暂无答案!
目前还没有任何答案,快来回答吧!