目前，我有一个远程hadoop集群。当我试图通过namenode访问datanode中的数据时，namenode会将我重定向到datanode。但是，返回的datanode域名只能在集群内部识别。此外，我不能修改 /etc/hosts 在客户端。我可以配置namenode用任何ip或域重定向我吗？用于记录要返回的域的namenode在哪里？
/etc/hosts
k5ifujac1#
我相信你需要的是 Gateway 服务器（也称为 EdgeNode ). 有几个教程在那里。在特定情况下，持有namenode的服务器也将持有edgenode。为此，有两个具体项目：使用socks代理。通过socks代理使用hadoop？使用httpfs：https://hadoop.apache.org/docs/r2.4.1/hadoop-hdfs-httpfs/index.html
Gateway
EdgeNode
1条答案
按热度按时间k5ifujac1#
我相信你需要的是
Gateway服务器（也称为EdgeNode). 有几个教程在那里。在特定情况下，持有namenode的服务器也将持有edgenode。
为此，有两个具体项目：
使用socks代理。通过socks代理使用hadoop？
使用httpfs：https://hadoop.apache.org/docs/r2.4.1/hadoop-hdfs-httpfs/index.html