我按照michaelnoll的教程下载并安装hadoop。我还运行了wordcount示例。但我看不到同样的输出。当我看到dfs中的文件时,我得到了我拥有的所有文件列表但是当我搜索这些文件时,我得到了一个错误:想知道哪里出了问题。。。
nxowjjhe1#
运行wordcount示例的预期语法为: bin/hadoop jar hadoop-examples-1.0.4.jar wordcount <input_dir> <output_dir> . 有可能,你的字数没有处理任何数据,因此你看不到任何结果。试着跑步 bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /user/ravi/inputall /user/ravi/output 然后 bin/hadoop dfs -ls /user/ravi/output 看看结果。此外,您应该在运行map reduce yob之后(直接在控制台或使用web界面)检查map reduce yob执行的详细信息。应该有关于已处理的输入记录/字节数的详细信息。您还可以在web浏览器中浏览整个文件系统: http://localhost:50070/dfshealth.jsp
bin/hadoop jar hadoop-examples-1.0.4.jar wordcount <input_dir> <output_dir>
bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /user/ravi/inputall /user/ravi/output
bin/hadoop dfs -ls /user/ravi/output
http://localhost:50070/dfshealth.jsp
eqqqjvef2#
您试图cat的hdfs中的文件是一个目录(flags列显示 drwxr-xr-x ). hadoop作业通常会将其结果输出到一个目录,每个reducer有一个文件(如果运行的作业没有reducer,则每个mapper有一个文件)。如果是该文件夹的内容,您应该会看到一些part-r文件-请尝试对这些文件进行分类:
drwxr-xr-x
bin/hadoop dfs -cat /user/ravi/tempoutput.txt/part-r-*
2条答案
按热度按时间nxowjjhe1#
运行wordcount示例的预期语法为:
bin/hadoop jar hadoop-examples-1.0.4.jar wordcount <input_dir> <output_dir>
. 有可能,你的字数没有处理任何数据,因此你看不到任何结果。试着跑步bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /user/ravi/inputall /user/ravi/output
然后bin/hadoop dfs -ls /user/ravi/output
看看结果。此外,您应该在运行map reduce yob之后(直接在控制台或使用web界面)检查map reduce yob执行的详细信息。应该有关于已处理的输入记录/字节数的详细信息。您还可以在web浏览器中浏览整个文件系统:
http://localhost:50070/dfshealth.jsp
eqqqjvef2#
您试图cat的hdfs中的文件是一个目录(flags列显示
drwxr-xr-x
). hadoop作业通常会将其结果输出到一个目录,每个reducer有一个文件(如果运行的作业没有reducer,则每个mapper有一个文件)。如果是该文件夹的内容,您应该会看到一些part-r文件-请尝试对这些文件进行分类: