datanode不能与hadoop2.2中的namenode通信

f45qwnt8  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(291)

我正在建立一个hadoop2.2集群。我已经成功地配置了一个主设备和一个从设备。我进去的时候 start-dfs.sh 以及 start-yarn.sh 在主机上,所有守护进程都正确启动。
具体来说,在主机上运行以下命令:
数据节点
节点管理器
名称节点
资源经理
次要名称节点
在从属服务器上,以下各项正在运行:
数据节点
节点管理器
当我打开 http://master-host:50070 我看到只有一个“活动节点”,它指的是主节点上的datanode。
从机上的数据节点已启动,但无法告诉主机它已启动。这是我能找到的唯一错误:
从/logs/hadoop-hduser-datanode.log从:warn org.apache.hadoop.hdfs.server.datanode.datanode:连接到服务器时出现问题:ec2-xx--xx-compute-1.amazonaws.com/xx..xx。:9001
我检查/核实的事项:
9001打开
两个节点都可以通过ssh相互连接
两个节点可以相互ping
如有任何建议,我们将不胜感激。

vsdwdz23

vsdwdz231#

我的问题在hosts文件中:
从机和主机上的主机文件必须相同(它们相同):

127.0.0.1 localhost
<master internal ip> master
<slave internal ip> slave

对于aws,您需要使用类似于xx...的内部ip(不是ec2-xx-xx-.aws.com中的外部ip,也不是ip xx-xx-)。
另外,core-site.xml应该将hdfs的位置称为 http://master:9000 .

相关问题