Apache Spark -工作进程的连接被拒绝

7xzttuei  于 2022-11-06  发布在  Apache
关注(0)|答案(9)|浏览(229)

嗨,我是新的apacheSpark,我试图学习它
在创建新的独立集群时,我遇到了此错误。
我启动了我的master,它在端口7077是活动的,我可以在ui中看到(端口8080)
使用命令启动服务器时

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.0.56:7077

我正在开会,遇到连接被拒绝错误

14/07/22 13:18:30 ERROR EndpointWriter: AssociationError [akka.tcp://sparkWorker@node-        physical:55124] -> [akka.tcp://sparkMaster@192.168.0.56:7077]: Error [Association failed     with [akka.tcp://sparkMaster@192.168.0.56:7077]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@192.168.0.56:7077]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2:     Connection refused: /192.168.0.56:7077

请帮助我的错误,我在这里呆了很长一段时间。
希望资料足够,请帮忙

lskq00tm

lskq00tm1#

在我的例子中,我转到/etc/hosts并:

  • 删除了www.example.com这一行127.0.1.1,它工作了。
  • 写入“主IP计算机名”
1u4esq0p

1u4esq0p2#

尝试“./sbin/start-master -h“。当我将主机名指定为IP地址时,它可以工作。

qnakjoqk

qnakjoqk3#

在< ip>主节点的spark-env.sh中更改SPARK_MASTER_HOST=
然后重新启动主进程,如果对该进程执行grep,您将看到它从
主机名:********************************************

主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机主机

twh00eeo

twh00eeo4#

检查您的防火墙是否已关闭,因为它可能会透过暂时关闭防火墙来封锁Worker联机:

$ sudo service iptables stop

或永久:

$ sudo chkconfig iptables off
tpxzln5u

tpxzln5u5#

看起来Spark对IP和机器名非常挑剔。因此,当启动您的Master时,它将使用您的机器名来注册Spark Master。如果您的Worker无法访问该名称,则几乎无法访问。
解决这个问题的一个方法是这样开始你的主人:

SPARK_MASTER_IP=YOUR_SPARK_MASTER_IP ${SPARK_HOME}/sbin/start-master.sh

然后,您将能够像这样连接您的从属
${SPARK_HOME}/sbin/start-slave.sh spark://YOUR_SPARK_MASTER_IP:PORT
我希望它能帮上忙!

ep6jt1vc

ep6jt1vc6#

是否在etc/hosts中添加了主节点和工作节点的条目,如果没有,则在所有计算机中添加每台计算机的IP和主机名Map。

cvxl0en2

cvxl0en27#

对于Windows:[要绑定到的接口IP]

kcwpcxri

kcwpcxri8#

我在一个Docker容器中遇到了类似的问题,我通过将master和driver的IP设置为localhost来解决它,具体来说:

set('spark.master.hostname' ,'localhost')
    set('spark.driver.hostname', 'localhost')
wkftcu5l

wkftcu5l9#

我没有DNS,我在主节点的/etc/hosts中添加了条目,以引用所有主节点和工作节点的IP和主机名。在工作节点中,我在/etc/hosts中添加了主节点的IP和主机名。

相关问题