我在hdinsight中运行了示例wordcount应用程序，命令运行成功，但找不到输出。我执行的命令是
hadoop jar hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /user/joe/WordCountOutput
我希望在文件系统上创建一些东西。但我不明白 /user/joe/ 创建。请给我建议。
/user/joe/
ni65a41a1#
hdinsight默认使用azure blob存储作为其hdfs存储，因此您的输出位于与集群关联的存储帐户中。您可以使用cloudxplorer之类的工具轻松读取blob存储帐户并查找这些数据。它将位于/user/joe/wordcountoutput下的默认wabs容器中您还可以像这样运行命令，以便对输出位置有更多的控制
hadoop jar hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt wabs://<contatiner>@<storageaccount>.blob.core.windows.net/user/joe/WordCountOutput
ecfsfe2w2#
它不在您计算机的文件系统中，而是在azure Blob上。通常，hadoopmapreduce使用hadoopdistributedfilesystem（hdfs），但是正如thomasjungblut在评论中正确指出的那样，azure blobs已经完全取代了hdinsight中的hdfs。不过，您应该能够使用hdfs shell命令访问输出，如：
hadoop dfs -ls /user/jow/WordCountOutput
也许hdinsight提供了更多的方法来浏览这个文件系统（请参阅andrew moll的答案），但我并不熟悉它们，实际上这已经相当容易了。
2条答案
按热度按时间ni65a41a1#
hdinsight默认使用azure blob存储作为其hdfs存储，因此您的输出位于与集群关联的存储帐户中。您可以使用cloudxplorer之类的工具轻松读取blob存储帐户并查找这些数据。它将位于/user/joe/wordcountoutput下的默认wabs容器中
您还可以像这样运行命令，以便对输出位置有更多的控制
ecfsfe2w2#
它不在您计算机的文件系统中，而是在azure Blob上。通常，hadoopmapreduce使用hadoopdistributedfilesystem（hdfs），但是正如thomasjungblut在评论中正确指出的那样，azure blobs已经完全取代了hdinsight中的hdfs。不过，您应该能够使用hdfs shell命令访问输出，如：
也许hdinsight提供了更多的方法来浏览这个文件系统（请参阅andrew moll的答案），但我并不熟悉它们，实际上这已经相当容易了。