你能详细说明一下你的答案吗。我也有类似的问题。我的hadoop进程运行正常。我使用我的macbook笔记本电脑作为主机,AWSEC2示例作为“从机”。虽然datanode在从属服务器中是活动的,但它不能运行我的进程。
下面是两个节点的my/etc/hosts
在我的pc主节点中 ## # Host Database # # localhost is used to configure the loopback interface # when the system is booting. Do not change this entry. ## 127.0.0.1 localhost 255.255.255.255 broadcasthost #::1 localhost master slave1 slave2
在从属ec2示例127.0.0.1 localhost中
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts
xxx master
abc slave1
abc slave2
从属日志文件条目:
2016-03-18 11:04:05,826 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host =
STARTUP_MSG: args = []
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
2016-03-18 11:04:27,273 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/xxx:54310. Already tried 0 time(s).
2016-03-18 11:04:48,294 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/xxx:54310. Already tried 1 time(s).
请帮帮我,我被困了两天。我也看了这个从aws论坛的帖子链接和许多其他链接,但力不从心。
谢谢
1条答案
按热度按时间wmvff8tz1#
您不应该在自己的笔记本电脑上运行主节点,而应该在ec2上运行数据节点。这是因为这些ec2服务器无法通过ip“10.0.0.130”连接到您的笔记本电脑,而ip“10.0.0.130”始终由您的isp提供:
您可以登录到您的ec2机器并ping ip,它将不起作用。将主节点移动到ec2,确保集群中的每台机器以及hadoop部署中的每一个角色都有权访问彼此。