我正在建立一个hadoop2.2集群。我已经成功地配置了一个主设备和一个从设备。我进去的时候 start-dfs.sh
以及 start-yarn.sh
在主机上,所有守护进程都正确启动。
具体来说,在主机上运行以下命令:
数据节点
节点管理器
名称节点
资源经理
次要名称节点
在从属服务器上,以下各项正在运行:
数据节点
节点管理器
当我打开 http://master-host:50070
我看到只有一个“活动节点”,它指的是主节点上的datanode。
从机上的数据节点已启动,但无法告诉主机它已启动。这是我能找到的唯一错误:
从/logs/hadoop-hduser-datanode.log从:warn org.apache.hadoop.hdfs.server.datanode.datanode:连接到服务器时出现问题:ec2-xx--xx-compute-1.amazonaws.com/xx..xx。:9001
我检查/核实的事项:
9001打开
两个节点都可以通过ssh相互连接
两个节点可以相互ping
如有任何建议,我们将不胜感激。
1条答案
按热度按时间vsdwdz231#
我的问题在hosts文件中:
从机和主机上的主机文件必须相同(它们相同):
对于aws,您需要使用类似于xx...的内部ip(不是ec2-xx-xx-.aws.com中的外部ip,也不是ip xx-xx-)。
另外,core-site.xml应该将hdfs的位置称为
http://master:9000
.