我最近在本地的ubuntu上安装了hadoop。我已经通过调用 bin/start-all.sh 脚本。但是当我尝试运行字数计算程序时
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /home/USER/Desktop/books /home/USER/Desktop/books-output我总是遇到连接异常。文件夹“books”在我的deskop（本地文件系统）上。关于如何克服这个问题有什么建议吗？
我遵循了本教程中的每一个步骤。我不知道如何消除那个错误。一切帮助都将不胜感激。
2条答案
按热度按时间yiytaume1#
将书本文件复制到hdfs中
对于input path参数，使用复制的图书文件的hdfs path。
更多细节请点击下面的链接。
http://cs.smith.edu/dftwiki/index.php/hadoop_tutorial_1_--_running_wordcount#basic_hadoop_admin_commands
3bygqnnd2#
当你运行
hadoop ...命令，则它使用的默认文件系统是hadoop分布式文件系统，因此这些文件必须位于hdfs上，hadoop才能访问它。要将文件从本地文件系统复制到hadoop文件系统，必须使用以下命令
hdfs dfs -copyFromLocal /path/in/local/file/system /destination/on/hdfs还有一件事，如果您想直接从ide运行程序，那么有时您会遇到这个问题，可以通过添加core-site.xml and hdfs-site.xmlconf变量中的文件conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/core-site.xml"));
conf.addResource(new Path("/usr/local/hadoop/etc/hadoop/hdfs-site.xml"));将上面的路径改为hdfs-site.xml，将core-site.xml改为本地路径。因此，也可以从命令行提供上述参数，方法是使用
-cp标签。