我是hadoop新手,正在尝试执行wordcount问题。
到目前为止我做的事情-
参考下面的链接设置hadoop单节点集群。http://www.bogotobogo.com/hadoop/bigdata_hadoop_install_on_ubuntu_single_node_cluster.php
请参考下面的链接写出字数问题https://kishorer.in/2014/10/22/running-a-wordcount-mapreduce-example-in-hadoop-2-4-1-single-node-cluster-in-ubuntu-14-04-64-bit/
问题是当我执行最后一行来运行程序时-
hadoop jar wordcount.jar/usr/local/hadoop/input/usr/local/hadoop/output
下面是我得到的错误-
目录似乎存在
该文件也包含在目录中
最后,我还尝试了jar命令中的以下目录结构。
没用!:/
如果有人能带我来,我会非常感激的!
你好,保罗·阿尔文
1条答案
按热度按时间pbpqsu0x1#
您的第一个映像使用来自本地hadoop安装目录/usr的输入
如果要在本地文件系统上使用这些数据,可以指定
file:///usr/...
否则,如果您运行的是伪分布式模式,那么hdfs已经设置好了,并且/usr
在hdfs中不存在,除非在那里显式创建它。根据stacktrace,我认为错误来自
/app/hadoop/
临时目录路径不存在,或者其权限不允许当前用户对该路径运行命令建议:hortonworks和cloudera提供预先构建的virtualbox图像和大量教程资源。大多数公司都会从这些供应商那里得到hadoop,所以在我看来,最好熟悉这一点,而不是自己从头开始安装hadoop