刚到这里。我刚刚在一个普通存储帐户上用一个新的存储示例构建了一个新的hdinsight示例。我想知道我的webhdfs的url是什么/在哪里可以检索到它以及如何访问它。
我没有使用azure数据湖存储(我找到的几乎所有与azure相关的链接都指向某个数据湖链接）
我的hdfs-site.xml：
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>core-site.xml：
<property>
<name>fs.defaultFS</name>
<value>wasb://<my hdinsight storage name>@<my hdinsight name>.blob.core.windows.net</value>
<final>true</final>
</property>
3条答案
按热度按时间xnifntxz1#
注意：azure hdinsight不支持webhdfs。
您不需要创建hdinsight集群来使用webhdfs与adl通信。
azure存储与webhdfs不兼容。
azuredatalakestore是一个云级文件系统，与hadoop分布式文件系统（hdfs）兼容，并与hadoop生态系统协同工作。使用webhdfsapi的现有应用程序或服务可以轻松地与adls集成。
reference:webhdfs filesystem 原料药
adls gen2与hadoop文件系统兼容，并针对云级大数据分析存储进行了优化，但与webhdfs不兼容。
roqulrg32#
webhdfs端口与hdfs namenode端口相同，您可以使用以下属性覆盖此端口-
dfs.namenode.http-address默认值为50070。https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
当您通过curl或browser访问webhdfs时，必须给出如下端口号。
http://:<HTTP_PORT>/webhdfs/v1/
http://<HOST>:50070/webhdfs/v1/2ic8powd3#
您的基本webhdfs文件系统uri应该是：
webhdfs://<HOST>:<HTTP_PORT>你的主人应该在哪里CLUSTERNAME.azurehdinsight.net默认情况下，http\ U端口应为80。相应的httpurl具有以下格式
http://<HOST>:<HTTP_PORT>/webhdfs/v1/