我想看看是否有一种方法可以在windows中运行hadoopmapreduce单元测试而不需要hadoop设置。mrunit是否作为javamaven项目在eclipse中的windows(没有cygwin)上运行?谢谢srivatsan nallazhagappan
pb3s4cty1#
你可以独立运行 MRUnit 测验。你所需要的只是pom中的一些依赖项。我只是做了一个快速的小测试,这些是我运行一个成功的测试所需要的唯一依赖项。只是一个简单的测试硬编码值。没有cywin,没有hadoop设置,只有依赖项。
MRUnit
<dependencies> <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.7.0_25</version> <scope>system</scope> <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.2.0</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-yarn-common</artifactId> <version>2.2.0</version> </dependency> <dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.0.0</version> <classifier>hadoop2</classifier> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.2.0</version> </dependency> </dependencies>
至于在没有cygwin的情况下运行安装程序,这也是可能的。请查看此站点和此站点,以获取在没有cywin的情况下构建和安装hadoop for windows的帮助。另一个有用的工具是用于eclipse的hadoop插件。您可以在这里看到编译版本。它很容易使用。你可以在这里得到一些关于如何使用它的帮助
1条答案
按热度按时间pb3s4cty1#
你可以独立运行
MRUnit
测验。你所需要的只是pom中的一些依赖项。我只是做了一个快速的小测试,这些是我运行一个成功的测试所需要的唯一依赖项。只是一个简单的测试硬编码值。没有cywin,没有hadoop设置,只有依赖项。至于在没有cygwin的情况下运行安装程序,这也是可能的。请查看此站点和此站点,以获取在没有cywin的情况下构建和安装hadoop for windows的帮助。
另一个有用的工具是用于eclipse的hadoop插件。您可以在这里看到编译版本。它很容易使用。你可以在这里得到一些关于如何使用它的帮助