我正在尝试安装hadoop2.2.0,在启动dataenode服务时遇到以下错误,请帮助我解决此问题。提前谢谢。
2014-03-11 08:48:16406信息org.apache.hadoop.hdfs.server.common.storage:lock on/home/prassanna/usr/local/hadoop/yarn\u data/hdfs/datanode/in\u use.lock由nodename获取3627@prassanna-studio-1558 2014-03-11 08:48:16,426 fatal org.apache.hadoop.hdfs.server.datanode.datanode:块池的初始化失败块池bp-611836968-127.0.1.1-1394507838610(存储id ds-1960076343-127.0.1.1-50010-1394127604582)服务到localhost/127.0.1:9000 java.io.ioexception:不兼容的clusterids in/home/prassanna/usr/local/hadoop/u data/hdfs/datanode:名称节点clusterid=cid-fb61aa70-4b15-470e-a1d0-12653e357a10;datanode clusterid=cid-8bf63244-0510-4db6-a949-8f74b50f2be9位于org.apache.hadoop.hdfs.server.datanode.datastorage.dotransition(datastorage)。java:391)在org.apache.hadoop.hdfs.server.datanode.datastorage.recovertransitionread(datastorage。java:191)在org.apache.hadoop.hdfs.server.datanode.datastorage.recovertransitionread(datastorage。java:219)在org.apache.hadoop.hdfs.server.datanode.datanode.initstorage(datanode。java:837)在org.apache.hadoop.hdfs.server.datanode.datanode.initblockpool(datanode。java:808)在org.apache.hadoop.hdfs.server.datanode.bpofferservice.verifyandsetnamespaceinfo(bpofferservice。java:280)在org.apache.hadoop.hdfs.server.datanode.bpserviceactor.connecttonandhandshake(bpserviceactor)。java:222)在org.apache.hadoop.hdfs.server.datanode.bpserviceactor.run(bpserviceactor。java:664)在java.lang.thread.run(线程。java:662) 2014-03-11 08:48:16,427 warn org.apache.hadoop.hdfs.server.datanode.datanode:终止块池服务:块池bp-611836968-127.0.1.1-1394507838610(存储id ds-1960076343-127.0.1.1-50010-1394127604582)本地主机服务/127.0.0.1:9000 2014-03-11 08:48:16,532 info org.apache.hadoop.hdfs.server.datanode.datanode:删除的块池bp-611836968-127.0.1.1-1394507838610(存储id ds-1960076343-127.0.1.1-50010-1394127604582)2014-03-11 08:48:18532警告org.apache.hadoop.hdfs.server.datanode.datanode:退出datanode 2014-03-11 08:48:18,534 info org.apache.hadoop.util.exitutil:退出,状态为0 2014-03-11 08:48:18536 info org.apache.hadoop.hdfs.server.datanode.datanode:关闭消息:/*********************************关闭消息:关闭位于prassanna-studio-1558/127.0.1.1的datanode
3条答案
按热度按时间kqlmhetl1#
确保您准备好了正确的配置和正确的路径。这是在ubuntu上运行hadoop的链接。
我用这个链接在我的机器上安装了hadoop,它运行得很好。
6bc51xsx2#
参考这个,
1.检查java\u主页---
2.如果java不可用,则通过命令安装
而不是跑1。检查终端
3.配置ssh
hadoop需要ssh访问来管理它的节点,也就是说,如果您想在远程机器上使用hadoop,那么就需要ssh访问本地机器(这就是我们在这个简短的教程中要做的)。因此,对于hadoop的单节点设置,我们需要为用户配置对localhost的ssh访问。
下载并提取hadoop-2.7.3(具有读写权限的chosse目录)
设置环境变量
设置配置文件
必须修改以下文件才能完成hadoop安装:
这个
(HOME)/etc/hadoop/core-site.xml
文件包含hadoop启动时使用的配置属性。这个文件可以用来覆盖hadoop启动时的默认设置。打开文件并在
<configuration></configuration>
标签:默认情况下
(PATH)/etc/hadoop/
文件夹包含(PATH)/etc/hadoop/mapred-site.xml.template
必须用名称重命名/复制的文件mapred-site.xml
:mapred-site.xml文件用于指定mapreduce使用的框架。
我们需要在
<configuration></configuration>
标签:这个
(PATH)/etc/hadoop/hdfs-site.xml
需要为正在使用的群集中的每个主机配置文件。它用于指定将用作该主机上的namenode和datanode的目录。
在编辑这个文件之前,我们需要为这个hadoop安装创建两个包含namenode和datanode的目录。可以使用以下命令执行此操作:
打开文件并在
<configuration></configuration>
标签:格式化新的hadoop文件系统
现在,hadoop文件系统需要格式化,以便我们可以开始使用它。format命令应具有写入权限,因为它在下创建当前目录
/usr/local/hadoop_store/
文件夹:或
hadoop安装完成
现在启动hdfs
检查url:
http://localhost:50070/
用于停止hdfswpcxdonn3#
这仅仅表明datanode试图启动,但发生了一些异常并死机。
请检查hadoop安装文件夹中logs文件夹下的datanode日志(除非您更改了该配置)以查找异常。它通常指向某种类型的配置问题,特别是与网络设置(/etc/hosts)相关的问题,但是有很多可能性。