cluster creation-aws-emr-*:9000连接失败异常:java.net.connectexception:连接被拒绝;

yv5phkfx  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(485)

几周前我开始在aws emr上做测试,但我遇到了一个随机问题。我从控制台启动一个集群,如下所示:

aws emr create-cluster --name "Prueba zookeeper y giraph" --use-default-roles --ec2-attributes KeyName=keyPairAmazonJose --applications Name=MapR,Args=--edition,m3,--version,4.0.2 --ami-version 3.3.2  --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge

集群启动成功。我可以通过主公共dns名称登录到主服务器。当我在集群上执行一个基本操作时,问题就来了,比如:

hdfs dfsadmin -report

有一半的时候,集群会抛出这样的异常:

Call From ip-172-31-29-147.sa-east-1.compute.internal/172.31.29.147 to ip-172-31-29-147.sa-east-1.compute.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

据我所知,我使用的是“原样”集群,没有大的改动,所以,这个命令应该一直有效,对吧?

5us2dqdw

5us2dqdw1#

看来这只是时间问题。当集群启动时,

hdfs dfsadmin -report

没用。但是,如果我们期待的时间再长一点,它的工作非常好(我们可以通过jps来观察这一点)。
亚马逊论坛给出的答案没有添加任何信息,只是建议我在这里切换我使用的集群类型。

相关问题