几周前我开始在aws emr上做测试,但我遇到了一个随机问题。我从控制台启动一个集群,如下所示:
aws emr create-cluster --name "Prueba zookeeper y giraph" --use-default-roles --ec2-attributes KeyName=keyPairAmazonJose --applications Name=MapR,Args=--edition,m3,--version,4.0.2 --ami-version 3.3.2 --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge
集群启动成功。我可以通过主公共dns名称登录到主服务器。当我在集群上执行一个基本操作时,问题就来了,比如:
hdfs dfsadmin -report
有一半的时候,集群会抛出这样的异常:
Call From ip-172-31-29-147.sa-east-1.compute.internal/172.31.29.147 to ip-172-31-29-147.sa-east-1.compute.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
据我所知,我使用的是“原样”集群,没有大的改动,所以,这个命令应该一直有效,对吧?
1条答案
按热度按时间5us2dqdw1#
看来这只是时间问题。当集群启动时,
没用。但是,如果我们期待的时间再长一点,它的工作非常好(我们可以通过jps来观察这一点)。
亚马逊论坛给出的答案没有添加任何信息,只是建议我在这里切换我使用的集群类型。