使用java从hadoop读取文件:无输出

0ve6wy6x  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(421)

我正在尝试从hdfs读取和写入文件。首先,我尝试读取它并在控制台上显示它。它运行时没有给出任何错误,警告,但也没有打印控制台上文件的数据,我的文件已经保存在hdfs中,我可以在用户界面上看到它。我认为我给出的路径有问题,我不确定,因为我是第一次将hadoop连接到java,我使用eclipse作为ide。有人能调查一下吗?
我还尝试为名称节点提供50075端口号,但这也不起作用。
编辑:有人能告诉我如何在java中为访问存储在hdfs中的文件提供正确的路径吗?
我得到了这个例外
文件:/localhost:54310/user/hduser/project11/a.txt 不存在。
java.io.filenotfoundexception:文件:/localhost:54310/user/hduser/project11/a.txt 不存在。

at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:397)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:251)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:125)
 at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:427)
at newclassentry.main(newclassentry.java:16)

有一个与路径有关的问题,但我不知道什么是正确的路径。
在localhost namenode上,我正在/user/hduser/project11文件夹中访问它。文件不是空的。代码:

import java.io.*;
import java.util.*;
import java.net.*;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.util.*;

public class newclassentry {

    public static void main(String [] args) throws Exception {
        try {
            Path pt = new Path("hdfs://localhost:54310/user/hduser/project11/a.txt");
            FileSystem fs = FileSystem.get(new Configuration());
            conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));
            BufferedReader br = new BufferedReader(new InputStreamReader(fs.open(pt)));

            String line;
            line = br.readLine();
            while ((line = br.readLine()) != null) {
                System.out.println(line);
                line = br.readLine();
            }
            br.close();
        }
        catch (Exception e) {
            System.out.println(e.getMessage());
            e.printStackTrace();
        }
    }
}
tyky79it

tyky79it1#

解决方案:
我们需要添加core-site.xml,以便通过hdfs conf.addresource(新路径(vars.hadoop\u home+“/conf/core site.xml”))进行访问;
感谢大家找到最初的问题。

ih99xse1

ih99xse12#

由于控制台上没有显示,并且您确定文件不是空的,这意味着由于文件路径无效而导致打开文件时出错。
您需要替换空的catch块:

catch(Exception e){
                }

允许打印堆栈跟踪,以便可以看到发生的错误。

catch(Exception e){
         e.printStackTrace();
                }

相关问题