我对spark还不熟悉,并且在hadoop2.4.1中使用spark-1.2.0。我已经设置了主节点和四个从节点。但是我的两个节点没有启动。我已经在中定义了节点的ip地址 slaves
spark-1.2.0/conf/目录中的文件。
但当我想跑的时候 ./sbin/start-all.sh
误差如下:
failed to launch org.apache.spark.deploy.worker.Worker
could not find or load main class org.apache.spark.deploy.worker.Worker
这是发生在两个节点上。另外两个工作正常。
我还设置了 spark-env.sh
无论是奴隶还是主人。主人也有无密码的ssh连接到奴隶。
我也试过 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
它给出了和以前一样的错误。有人能帮我吗。我在哪里犯错?
2条答案
按热度按时间p8ekf7hl1#
所以我想出了解决办法。对于所有那些谁是新的开始与Spark,请检查所有的jar文件
lib
文件夹。我有spark-assembly-1.2.0-hadoop2.4.0.jar
我的奴隶档案不见了。uidvcgyl2#
我也遇到了同样的问题。如果这是
localmode
然后您可以运行群集设置:然后运行:
我能在壳上执行我的工作。
请记住按照以下步骤设置conf/slaves和conf/spark-env.sh:http://pulasthisupun.blogspot.com/2013/11/how-to-set-up-apache-spark-cluster-in.html
也会改变
localhost
给你的hostname
.