我已经在安装了cygwin的windows中安装了hadoop1.2.1。我已经开始sshd服务。还启动了namenode、datanode、mapreduce(job tracker、task tracker)。我可以通过下面的url看到namenode、datanode和mapreduce的运行状态。
当我尝试通过eclipse连接hadoop时,我能够做到。虽然我能够从eclipse连接hadoop,但在打开dfs位置时没有看到任何文件夹。显示为(0)(见图1,
我想没有可用的目录/文件。与我检查的namenode存储相同(参见图2)
即使我尝试通过cygwin终端创建一个目录(参见pic#4),我也无法在eclipse环境中的dfs位置看到它。
也就是说,我尝试了wordcount示例,通过如下设置输入路径和输出路径,//指定输入和输出目录
FileInputFormat.addInputPath(conf, new Path("Input"));
FileOutputFormat.setOutputPath(conf, new Path("Output"));
当我在eclipse的hdfs位置运行它时,我得到了以下异常
13/10/30 06:52:44错误security.usergroupinformation:priviledgedactionexception as:administratorcause:org.apache.hadoop.mapred.invalidinputexception:输入路径不存在:hdfs://localhost:47110/user/administrator/input org.apache.hadoop.mapred.invalidinputexception:输入路径不存在:hdfs://localhost:47110/用户/管理员/输入
问题:为什么我不能看到我通过cygwin终端创建的目录和任何文件夹?
“什么是”hdfs://localhost:47110“指向?
我是否得到了上面的异常,因为它没有看到datanode中的目录?我应该设置什么输入路径?
请给我一些建议。
提前谢谢。
1条答案
按热度按时间fbcarpbf1#
首先,您应该从头开始检查hadoop集群的所有设置,因为这个问题表明您没有用hadoop集群正确地配置eclipse
请参阅以下链接,帮助您。。。
https://www.youtube.com/watch?v=tavehedfndk
同时检查您的dfs是否连接到您的群集意味着您是否能够在您的dfs中存储文件和数据。。