jars

vbopmzt1 于 2021-06-02 发布在 Hadoop

关注(0)|答案(8)|浏览(485)

下面是apache提供的hadoopmapreduce教程。这里给出的java代码使用以下apache hadoop类：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

但我不知道从哪里下载这些jar。在网上搜索这些课程，我可以看到他们在这里。
但是，这些和jar的正式/真实的apache存储库是什么？
如果jar是随hadoop一起提供的，请告诉我路径。
编辑：其他问题没有给出明确的说明。我发现答案如下
本教程提到：
下载hadoop-core-1.2.1.jar，它用于编译和执行mapreduce程序。访问以下链接http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1 下载jar。
所以这看起来很真实。

Java hadoop mapreduce Jar

来源：https://stackoverflow.com/questions/31853723/jars-for-hadoop-mapreduce

8条答案

按热度按时间

olhwl3o21#

对于当前版本2.7.1，我在 Missing artifact org.apache.hadoop:hadoop-mapreduce:jar:2.7.1 ，但发现这个jar似乎被分成了几个小jar。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-common</artifactId>
    <version>2.7.1</version>
</dependency>

…为我工作（…不知道这意味着什么：https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce/2.7.1/ )

赞(0）回复(0）举报 2021-06-02

oknrviil2#

最好的方法是下载hadoop（3.x.y）并包含以下jar
hadoop-3.x.y/share/hadoop/mapreduce 1. hadoop-common-3.x.y.jar 2. hadoop-mapreduce-client-core-3.x.y.jar 对我有用！

赞(0）回复(0）举报 2021-06-02

js81xvg63#

本教程提到：
下载hadoop-core-1.2.1.jar，它用于编译和执行mapreduce程序。访问以下链接http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/1.2.1 下载jar。
所以在这里你可以找到所有不同版本的jar

赞(0）回复(0）举报 2021-06-02

zazmityj4#

javac-cp/usr/hdp/2.6.2.0-205/hadoop mapreduce/：/usr/hdp/2.6.2.0-205/hadoop/：。我的测试.java
在cloudxlab为我工作。

赞(0）回复(0）举报 2021-06-02

aemubtdh5#

尝试使用以下方法编译： javac -cp $(hadoop classpath) MapRTest.java .
在大多数情况下，下载的hadoop中已经存在这些文件。更多信息，请查看此。

赞(0）回复(0）举报 2021-06-02

plicqrtu6#

如果出现此类错误，只需在终端上键入命令：
导出hadoop\u home=$（hadoop classath）
note:you have 在./bashrc文件中检查自己的hadoop配置名称。在安装hadoop时，我们在.bashrc文件中设置了hadoop和java路径。我们必须在下面检查我们可以看到出口旁边。

赞(0）回复(0）举报 2021-06-02

cyej8jka7#

我使用netbeans创建了一个新的maven项目。
然后在projectfiles下，打开pom.xml。
我在里面加上

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
    </dependency>