java—hadoop的输入和输出是如何工作的?

eaf3rand  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(350)

我只是使用本教程在本地计算机上设置了单节点hadoop群集-
http://ac31004.blogspot.com/2013/10/installing-hadoop-2-on-mac_29.html
在本教程中,我遵循以下说明:尝试ls hadoop fs-ls
如果你得到
ls:`.':没有这样的文件或目录
那么hadoop文件系统中就没有主目录了。所以

hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>

其中是您登录计算机时使用的名称。
现在切换到$hadoop\u安装目录并上传一个文件

hadoop fs -put LICENSE.txt

当我使用以下命令时:

hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt out

它工作,但我无法找到输出文件夹。因此,为了调试,我尝试使用另一个输出文件夹并使用:

hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt  /Applications/hadoop-2.2.0/out2

这很好,但问题是我在应用程序文件夹中找不到out2目录。
然后,我在/applications/hadoop-2.2.0中创建了一个目录“in”,并将readme.txt放入其中,并尝试使用以下命令:

hadoop jar ./hadoop-mapreduce-examples-2.2.0.jar wordcount /Applications/hadoop-2.2.0/in/README.txt  /Applications/hadoop-2.2.0/out3

现在我犯了个错误:
错误security.usergroupinformation:priviledgedactionexception as:chinmay(auth:simple) cause:org.apache.hadoop.mapreduce.lib.input.invalidinputexception:输入路径不存在:hdfs://localhost:9000/applications/hadoop-2.2.0/in/readme.txt

cedebl8k

cedebl8k1#

输入和输出文件夹也在hdfs上。在那里创建它们,而不是在本地文件系统上。

相关问题