在windows10上设置spark cluster

xa9qqrwz  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(549)

我正在尝试使用两个运行windows10的系统来设置spark3luster。我可以开始使用master spark-class org.apache.spark.deploy.master.Master -h <hostname> 从主控台开始 spark://<hostname>:7077 在我试图用作工作节点的第二台计算机上 spark-class org.apache.spark.deploy.worker.Worker spark://<hostname>:7077 但是它抛出了一个连接拒绝错误。
我跟踪了链接spark start slave not connecting to master,spark standalone cluster-slave not connecting to master,并更新了spark env文件来更新 SPARK_MASTER_HOST 以及 SPARK_LOCAL_IP 但还是没有运气。
我试着用 -i flag 当启动主节点时,我能够成功地连接主节点和从节点,但是spark文档说-我已经被弃用了,所以有人能指出我在使用时的错误吗 -h flag 启动主机时。

w41d8nur

w41d8nur1#

您应该向worker:提供主主机名或ip:通过传递:

...Worker spark://<MASTER IP>:7077

相关问题