mrunit在没有hadoop集群的windows上

ljo96ir5  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(435)

我想看看是否有一种方法可以在windows中运行hadoopmapreduce单元测试而不需要hadoop设置。mrunit是否作为javamaven项目在eclipse中的windows(没有cygwin)上运行?
谢谢srivatsan nallazhagappan

pb3s4cty

pb3s4cty1#

你可以独立运行 MRUnit 测验。你所需要的只是pom中的一些依赖项。我只是做了一个快速的小测试,这些是我运行一个成功的测试所需要的唯一依赖项。只是一个简单的测试硬编码值。没有cywin,没有hadoop设置,只有依赖项。

<dependencies>
    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.7.0_25</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>1.0.0</version>
        <classifier>hadoop2</classifier>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>

至于在没有cygwin的情况下运行安装程序,这也是可能的。请查看此站点和此站点,以获取在没有cywin的情况下构建和安装hadoop for windows的帮助。
另一个有用的工具是用于eclipse的hadoop插件。您可以在这里看到编译版本。它很容易使用。你可以在这里得到一些关于如何使用它的帮助

相关问题