如何使用azure storage emulator for hadoop?

5lwkijsr  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(492)

我的机器上安装了一个hdp集群和azure存储仿真器,希望从hadoop作业访问azure存储仿真器。显然,这不是hadoop集群的默认hdfs。我知道,如果我有hdinsight模拟器,我可以访问它,因为它会自动设置配置。我想知道为了访问azure存储模拟器,我需要在hadoop集群中设置哪些配置?
当我运行hdfs dfs-ls时wasb://127.0.0.1:10000/'我收到以下错误消息

org.apache.hadoop.fs.azure.AzureException: Unable to access container $root in account 127.0.0.1:10000 using anonymous credentials, and no credentials found for them  in the configuration.
wdebmtf2

wdebmtf21#

z。
您需要为存储仿真器使用不同的wasb://语法。详见下表:
https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/#addressing
注:
在存储仿真器(在hdinsight仿真器上运行)上寻址文件的语法是wasb://@storageemulator。
你好,杰森

相关问题