我只是使用本教程在本地计算机上设置了单节点hadoop群集-
http://ac31004.blogspot.com/2013/10/installing-hadoop-2-on-mac_29.html
在本教程中,我遵循以下说明:尝试ls hadoop fs-ls
如果你得到
ls:`.':没有这样的文件或目录
那么hadoop文件系统中就没有主目录了。所以
hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>
其中是您登录计算机时使用的名称。
现在切换到$hadoop\u安装目录并上传一个文件
hadoop fs -put LICENSE.txt
当我使用以下命令时:
hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt out
它工作,但我无法找到输出文件夹。因此,为了调试,我尝试使用另一个输出文件夹并使用:
hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt /Applications/hadoop-2.2.0/out2
这很好,但问题是我在应用程序文件夹中找不到out2目录。
然后,我在/applications/hadoop-2.2.0中创建了一个目录“in”,并将readme.txt放入其中,并尝试使用以下命令:
hadoop jar ./hadoop-mapreduce-examples-2.2.0.jar wordcount /Applications/hadoop-2.2.0/in/README.txt /Applications/hadoop-2.2.0/out3
现在我犯了个错误:
错误security.usergroupinformation:priviledgedactionexception as:chinmay(auth:simple) cause:org.apache.hadoop.mapreduce.lib.input.invalidinputexception:输入路径不存在:hdfs://localhost:9000/applications/hadoop-2.2.0/in/readme.txt
1条答案
按热度按时间cedebl8k1#
输入和输出文件夹也在hdfs上。在那里创建它们,而不是在本地文件系统上。