我开始使用hadoop,并阅读了大量教程,第一次了解了启动hadoop的所有步骤。我正在运行一个从yahoo教程下载的虚拟机,预装了hadoop和java。
我的主要问题是:如果我开始 start-all.sh
脚本(之后) hadoop namenode -format
),我没有得到任何错误,但是当我尝试用 hadoop fs ls
我得到以下错误: 14/07/18 04:49:43 INFO ipc.Client: Retrying connect to server: node1/10.10.104.68:9000. Already tried 0 time(s). ..... 14/07/18 04:49:52 INFO ipc.Client: Retrying connect to server: node1/10.10.104.68:9000. Already tried 9 time(s). Bad connection to FS. command aborted. exception: Call to node1/10.10.104.68:9000 failed on connection exception: java.net.ConnectException: Connection refused
在试图找到解决这个问题的方法时,我发现了以下奇怪的事情:
1.)运行后 stop-all.sh
它写道: no jobtracker to stop node1: no tasktracker to stop no namenode to stop node1: stopping datanode localhost: stopping secondarynamenode
2.)netstat没有显示任何监听端口9000的内容,为什么?
3.)当我尝试通过“主”pc连接时(也在停止后),hadoop的webinterface(在ip:50070和:50030上)总是在运行,为什么?
所以,这显然不是正确的开始,但我真的不知道为什么。。。我已配置并再次检查:
主机文件
ssh配置
我在core-site.xml、hdfs-site.xml中设置的属性;从属文件只有node1作为条目
所有目录的权限(我也不使用tmp文件夹)
很遗憾,由于代理权限,我无法安装任何新软件包。 jps
不工作(我认为预安装的java版本不支持它!)以及 ps aux | grep java
对我来说没什么意义。
我会很高兴有任何想法,为什么它可能不工作,或任何暗示,我应该尝试!
1条答案
按热度按时间a0x5cqrl1#
我首先转到logs文件夹并检查hadoop守护进程的日志。你会明白他们为什么不开始。守护进程启动困难的原因有很多;找不到java\u home,找不到hadoop\u home等等。日志将为您指明正确的方向。每个守护进程(namenode、datanode、jobtracker等)都有一个日志文件。我首先从namenode日志开始。如果namenode不快乐,就没有人快乐。
确保所有设备都安装在您认为合适的位置。并确保hadoop shell脚本知道如何找到这些位置。