远程访问hdfs

vbkedwbf 于 2023-02-05 发布在 Hadoop

关注(0)|答案(3)|浏览(1166)

我让hadoop服务器在某些服务器上运行，比如说在ip 192.168.11.7上，其core-site.xml如下：

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
</property>

我已经运行了我的hdfs，即使用命令：

sbin/start-dfs.sh

现在，我想通过浏览器从本地计算机访问hdfs。有可能吗？
我试过了http://192.168.11.7：9000或http://192.168.11.7：50075，但无效。i、 e.无法访问此站点
非常感谢你
编辑时间：
以下是my hdfs-site.xml的内容：

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>0.0.0.0:50070</value>
</property>

以及my core-site.xml：

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
</property>

<property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:50075</value>
</property>

但当我从本地计算机访问它时：http://192.168.11.7：50075，还是没用有什么问题吗？
谢谢您

hadoop

来源：https://stackoverflow.com/questions/39637326/accessing-hdfs-remotedly

3条答案

按热度按时间

sgtfey8w1#

（问题现已编辑）
尝试访问50070端口，这是的默认值 dfs.http.address . 在这里可以访问namenode的web界面。这应该管用。如果有，可以附加 /explorer.html#/ 之前的url（即。 http://192.168.11.7:50070/explorer.html# )你应该可以从那里浏览文件系统。
请参阅此答案以查看具有各种属性的各种端口的默认值。
或涉过 hadoop org.apache.hadoop.conf.Configuration 在服务器中查看 dfs.http.address 已更改，如果 http://192.168.11.7:50070/ 无法在浏览器中工作。
所以基本上：
检查是否有效 http://192.168.11.7:50070 行得通，如果行得通 http://192.168.11.7:50070/explorer.html# 访问文件系统
否则，检查 hadoop org.apache.hadoop.conf.Configuration 看看这个值 dfs.http.address 已更改。它可能会在那里。
[旧答案]
您需要的是到远程服务器的ssh连接。我相信这个不错的教程将帮助你实现你所期待的。
您不太可能使用windows服务器，但如果您使用了，我相信这会对您有所帮助。
当您这样做时，您就可以通过终端访问远程服务器。
如果您正在寻找浏览器访问权限，可以尝试类似于此处和此处列出的内容。

赞(0）回复(0）举报 2021-06-02

vktxenjb2#

请注意：

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
</property>

不适用于用户及其浏览器。当需要访问hdfs时，java程序将读取该值。你看到的是这把钥匙：

<property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:50075</value>
</property>

这是datanode公开其状态的地方。要使用web浏览器浏览hdfs，您需要激活webhdfs。

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.namenode.http-address</name>
  <value>0.0.0.0:50070</value>
</property>

转换为hdfs-site.xml
那就去 http://hostname:50070 要从那里访问webhdfsui，您可以检查所有内容。

赞(0）回复(0）举报 2021-06-02

juzqafwq3#

两台机器之间应该有一些连接。配置ssh或httpfs

赞(0）回复(0）举报 2021-06-02