嗨,我是新的apacheSpark,我试图学习它
在创建新的独立集群时,我遇到了此错误。
我启动了我的master,它在端口7077是活动的,我可以在ui中看到(端口8080)
使用命令启动服务器时
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.0.56:7077
我正在开会,遇到连接被拒绝错误
14/07/22 13:18:30 ERROR EndpointWriter: AssociationError [akka.tcp://sparkWorker@node- physical:55124] -> [akka.tcp://sparkMaster@192.168.0.56:7077]: Error [Association failed with [akka.tcp://sparkMaster@192.168.0.56:7077]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@192.168.0.56:7077]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /192.168.0.56:7077
请帮助我的错误,我在这里呆了很长一段时间。
希望资料足够,请帮忙
9条答案
按热度按时间lskq00tm1#
在我的例子中,我转到/etc/hosts并:
1u4esq0p2#
尝试“./sbin/start-master -h“。当我将主机名指定为IP地址时,它可以工作。
qnakjoqk3#
在< ip>主节点的spark-env.sh中更改SPARK_MASTER_HOST=。
然后重新启动主进程,如果对该进程执行grep,您将看到它从
主机名:********************************************
至
主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机
twh00eeo4#
检查您的防火墙是否已关闭,因为它可能会透过暂时关闭防火墙来封锁Worker联机:
或永久:
tpxzln5u5#
看起来Spark对IP和机器名非常挑剔。因此,当启动您的Master时,它将使用您的机器名来注册Spark Master。如果您的Worker无法访问该名称,则几乎无法访问。
解决这个问题的一个方法是这样开始你的主人:
然后,您将能够像这样连接您的从属
${SPARK_HOME}/sbin/start-slave.sh spark://YOUR_SPARK_MASTER_IP:PORT
我希望它能帮上忙!
ep6jt1vc6#
是否在etc/hosts中添加了主节点和工作节点的条目,如果没有,则在所有计算机中添加每台计算机的IP和主机名Map。
cvxl0en27#
对于Windows:[要绑定到的接口IP]
kcwpcxri8#
我在一个Docker容器中遇到了类似的问题,我通过将master和driver的IP设置为localhost来解决它,具体来说:
wkftcu5l9#
我没有DNS,我在主节点的
/etc/hosts
中添加了条目,以引用所有主节点和工作节点的IP和主机名。在工作节点中,我在/etc/hosts
中添加了主节点的IP和主机名。