无法在spark-1.2.0上部署worker

rsl1atfo 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(239)

我对spark还不熟悉，并且在hadoop2.4.1中使用spark-1.2.0。我已经设置了主节点和四个从节点。但是我的两个节点没有启动。我已经在中定义了节点的ip地址 slaves spark-1.2.0/conf/目录中的文件。
但当我想跑的时候 ./sbin/start-all.sh 误差如下：

failed to launch org.apache.spark.deploy.worker.Worker

could not find or load main class org.apache.spark.deploy.worker.Worker

这是发生在两个节点上。另外两个工作正常。
我还设置了 spark-env.sh 无论是奴隶还是主人。主人也有无密码的ssh连接到奴隶。
我也试过 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT 它给出了和以前一样的错误。有人能帮我吗。我在哪里犯错？

hadoop apache-spark bigdata

来源：https://stackoverflow.com/questions/27982179/not-able-to-deploy-workers-on-spark-1-2-0

2条答案

按热度按时间

p8ekf7hl1#

所以我想出了解决办法。对于所有那些谁是新的开始与Spark，请检查所有的jar文件 lib 文件夹。我有 spark-assembly-1.2.0-hadoop2.4.0.jar 我的奴隶档案不见了。

赞(0）回复(0）举报 2021-06-04

uidvcgyl2#

我也遇到了同样的问题。如果这是 localmode 然后您可以运行群集设置：

./sbin/start-master.sh
./sbin/start-slave.sh spark://localhost:7077

然后运行：

MASTER=spark://localhost:7077 ./bin/pyspark

我能在壳上执行我的工作。
请记住按照以下步骤设置conf/slaves和conf/spark-env.sh：http://pulasthisupun.blogspot.com/2013/11/how-to-set-up-apache-spark-cluster-in.html
也会改变 localhost 给你的 hostname .

赞(0）回复(0）举报 2021-06-04

我来回答

无法在spark-1.2.0上部署worker

2条答案

相关问题

热门标签

最新问答