我已经在虚拟机上的ubuntu上安装了hadoop（主机操作系统windows7） SPARK_HOME 在 .bashrc 并补充道 HADOOP_CONF_DIR 至 spark-env.sh . 现在当我开始 spark-shell 它抛出错误并且不初始化spark context，sql context。我是不是在安装中遗漏了一些东西，而且我想在集群上运行它（hadoop3节点集群已经设置好了）。
我已经在虚拟机上的ubuntu上安装了hadoop（主机操作系统windows7） SPARK_HOME 在 .bashrc 并补充道 HADOOP_CONF_DIR 至 spark-env.sh . 现在当我开始 spark-shell 它抛出错误并且不初始化spark context，sql context。我是不是在安装中遗漏了一些东西，而且我想在集群上运行它（hadoop3节点集群已经设置好了）。
1条答案
按热度按时间zqdjd7g91#
我有同样的问题时，试图安装Spark与Windows7本地。请确保以下路径是正确的，我相信我会与您合作。我在这个链接中回答相同的问题，所以，你可以按照下面的，它将工作。
创建java\u home变量：c:\program files\java\jdk1.8.0\u 181\bin
将以下部分添加到路径：；%java\u主页%\bin
创建spark\u home变量：c:\spark-2.3.0-bin-hadoop2.7\bin
将以下部分添加到路径：；%spark\u主页%\bin
hadoop路径中最重要的部分应该包括winutils.ee之前的bin文件，如下所示：c:\hadoop\bin确定您将在该路径中找到winutils.exe。
创建hadoop\u home变量：c:\hadoop
将以下部分添加到路径：；%hadoop\u主页%\bin
现在您可以运行cmd并编写sparkshell，这样就可以工作了。