webhdfs文件系统本地ip与网络ip hadoop

tkclm6bt 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(500)

需要从hdfs集群外部读取hdfs。我偶然发现了webhdfsfilesystem，尽管我有了这个想法，但我无法使它与网络地址一起工作。例如，只要我使用127.0.0.1或localhost，下面的代码就可以正常工作。但是当我使用网络ip地址192.168，我收到“retrying connect to server”消息，后跟connectexception。

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.web.WebHdfsFileSystem;

public class ReadHDFSFile {

    public static void main(String[] args) {
        Path p = new Path("hdfs://127.0.0.1:9000/user/hduser");
        WebHdfsFileSystem web = new WebHdfsFileSystem();
        try {
            Configuration conf = new Configuration();
            conf.set("fs.default.name","hdfs://127.0.0.1:9000/");
            web.setConf(conf);
            Configuration conf1 = web.getConf();
            FileSystem fs = FileSystem.get(web.getConf());
            System.out.println(fs.exists(p));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

我不知道我在这里错过了什么。

hadoop webhdfs

来源：https://stackoverflow.com/questions/19439357/webhdfsfilesystem-local-ip-vs-network-ip-hadoop

1条答案

按热度按时间

3okqufwl1#

我在hadoop2.4上有一个版本。相对于使用常规hadoop文件系统api，我必须改变两件事：
协议从 hdfs:// 至 webhdfs:// 端口更改为http端口（在我们的hortonworks集群上是50070），而不是默认的hdfs端口（也可以称为rpc端口？），在我们的系统上是8020
适用于我的示例代码：

Configuration conf = new Configuration();
String conxUrl = String.format("webhdfs://%s:%s", NAMENODE_IP_ADDR, WEBHDFS_PORT);
conf.set("fs.defaultFS", conxUrl);

FileSystem fs = WebHdfsFileSystem.get(conf);
Path path = new Path("/path/to/my/file");
System.out.println(fs.exists(path));

赞(0）回复(0）举报 2021-06-03

我来回答

webhdfs文件系统本地ip与网络ip hadoop

1条答案

相关问题

热门标签

最新问答