我正在尝试使用两个运行windows10的系统来设置spark3luster。我可以开始使用master spark-class org.apache.spark.deploy.master.Master -h <hostname>
从主控台开始 spark://<hostname>:7077
在我试图用作工作节点的第二台计算机上 spark-class org.apache.spark.deploy.worker.Worker spark://<hostname>:7077
但是它抛出了一个连接拒绝错误。
我跟踪了链接spark start slave not connecting to master,spark standalone cluster-slave not connecting to master,并更新了spark env文件来更新 SPARK_MASTER_HOST
以及 SPARK_LOCAL_IP
但还是没有运气。
我试着用 -i flag
当启动主节点时,我能够成功地连接主节点和从节点,但是spark文档说-我已经被弃用了,所以有人能指出我在使用时的错误吗 -h flag
启动主机时。
1条答案
按热度按时间w41d8nur1#
您应该向worker:提供主主机名或ip:通过传递: