我是spark的新手，在使用cloudera manager中提供的包安装spark之后。
我已经在cloudera enterprise的以下链接中配置了文件：
http://www.cloudera.com/content/cloudera-content/cloudera-docs/cm4ent/4.8.1/cloudera-manager-installation-guide/cmig_spark_installation_standalone.html
在这个设置之后，我已经通过运行/opt/cloudera/parcels/spark/lib/spark/sbin/start-all.sh启动了spark中的所有节点。但是我无法运行工作节点，因为我得到了下面指定的错误。
[root@localhost sbin]# sh start-all.sh
org.apache.spark.deploy.master.Master running as process 32405. Stop it first.
root@localhost.localdomain's password:
localhost.localdomain: starting org.apache.spark.deploy.worker.Worker, logging to /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain: failed to launch org.apache.spark.deploy.worker.Worker:
localhost.localdomain: at java.lang.ClassLoader.loadClass(libgcj.so.10)
localhost.localdomain: at gnu.java.lang.MainThread.run(libgcj.so.10)
localhost.localdomain: full log in /var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-localhost.localdomain.out
localhost.localdomain:starting org.apac当我运行jps命令时，我得到：
23367 Jps
28053 QuorumPeerMain
28218 SecondaryNameNode
32405 Master
28148 DataNode
7852 Main
28159 NameNode我无法正确运行工作节点。实际上，我想安装一个独立的spark，在这里，主控和辅助工在一台机器上工作。在spark目录的slaves文件中，我将地址指定为“localhost.localdomin”，这是我的主机名。我不知道这个设置文件。请任何一个云帮助我完成这个安装过程。实际上，我无法运行工作节点。但我可以启动主节点。
谢谢和问候，bips
1条答案
按热度按时间7y4bm7vi1#
请注意以下错误信息：
我在centos 6.2 x86_64上安装并启动spark master/workers时遇到了相同的错误。在确保服务器上已安装libgcj.x86_64和libgcj.i686之后，我终于解决了这个问题。下面是我的解决方案，希望能对你有所帮助。
似乎您的java\u home环境参数设置不正确。
也许，您的java主页链接到系统嵌入式java，例如java版本“1.5.0”。
spark需要java版本>=1.6.0。如果您使用Java1.5.0启动spark，您将看到以下错误信息。
尝试导出java\u home=“your java home path”，然后再次启动spark。