我在没有命令的情况下运行访问hdfs的代码时遇到问题:
hadoop jar
下面是我尝试运行的代码:
package com.infotel.mycompany.testhdfs;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
* Hello world!
*
*/
public class App
{
public static void main( String[] args ) throws IOException
{
Configuration config = new Configuration();
config.addResource("/opt/hadoop-2.2.0/etc/hadoop/core-site.xml");
config.set("fs.defaultFS", "hdfs://192.168.2.164/");
FileSystem dfs = FileSystem.get(config);
Path pt = new Path("/path/to/myfile");
BufferedReader br = new BufferedReader(new InputStreamReader(dfs.open(pt)));
String line;
line = br.readLine();
while(line != null) {
System.out.println(line);
line = br.readLine();
}
}
}
我使用maven和以下pom.xml构建代码:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.mycompany.bigdata</groupId>
<artifactId>testhdfs</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>testhdfs</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>exec-maven-plugin</artifactId>
<configuration>
<mainClass>com.infotel.bigdata.testhdfs.App</mainClass>
</configuration>
</plugin>
</plugins>
</build>
</project>
使用此命令运行代码时:
hadoop jar target/testhdfs-0.0.1-SNAPSHOT.jar com.infotel.mycompany.testhdfs.App
很好用。但是如果我用这个命令或从eclipse运行代码:
mvn exec:java
我得到以下错误:
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:483)
at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:293)
at java.lang.Thread.run(Thread.java:744)
Caused by: java.io.FileNotFoundException: File /path/to/myfile does not exist.
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:125)
at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:356)
at com.infotel.bigdata.testhdfs.App.main(App.java:30)
这是我的core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://chef</value>
<description>NameNode URI </description>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>hdfs</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.2.0/tmp</value>
</property>
</configuration>
我在尝试运行mapreduce时遇到了同样的问题,我必须使用hadoopjar命令,而不是从eclipse运行它。我正在使用hadoop2.2.0。看起来我完全错过了什么或不明白什么,谷歌没有帮助我。
如果有人有解决办法,我会非常感激。最终的目标是从servlet中的hdfs中检索文件,这就是为什么我不能使用 hadoop jar
2条答案
按热度按时间mjqavswn1#
我找到了解决办法。首先,我尝试使用hadoop安装中的所有库运行代码,命令如下:
所以我发现这是jar版本的问题。通过盲目搜索,我将pom.xml改为:
现在呢
mvn exec:java
好好工作。也许hadoop核心应该只用于旧的hadoop版本?有人知道更多关于hadoop核心和hadoop公共的知识吗?mftmpeh82#
在这个语句中,您可以添加name节点启动的端口。
apachehadoop中name node的默认端口是8020。