spark在windows10上运行files\spark\bin \..\jars“\”不能识别为内部或外部命令

2uluyalo  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(508)

我对spark很失望。一个晚上浪费了我的想法,我做错了什么,但我已经卸载和重新安装了好几次,遵循多个指南,所有指示一个非常相似的路径。
在cmd提示符下,我正在尝试运行:

pyspark

spark-shell

我遵循的步骤包括从以下位置下载预构建包:
https://spark.apache.org/downloads.html
包括使用hadoop2.3的spark2.0.2和使用hadoop2.7的spark2.1.0。
两者都不起作用,我得到了这个错误:

'Files\Spark\bin\..\jars""\' is not recognized as an internal or external  command,
operable program or batch file.
Failed to find Spark jars directory.
You need to build Spark before running this program.

我已经使用winutils.exe技巧很好地设置了我的环境变量,但是这些似乎与当前的问题无关。
我不可能是唯一一个被困在这个问题上的人。有人知道如何让这个程序在windows下工作吗?

wmvff8tz

wmvff8tz1#

我刚刚在这个问题的一个答案中找到了答案:
为什么spark submit和spark shell以“找不到spark组件jar”失败。你需要在运行这个程序之前建立spark?
下面的答案对我很有效,完全违反直觉:
“在windows上,我发现如果安装在路径(c:\program files\spark)中有空格的目录中,安装将失败。将其移动到根目录或其他没有空格的目录。”

yyhrrdl8

yyhrrdl82#

这个问题是由您的环境变量设置引起的,实际上您可能将spark\u home值设置为'program files\spark\bin',这有两个问题:
你必须移除垃圾箱,spark home只是“program files\spark”
由于spark home的路径包含空格,因此会导致问题,因此可以将其设置为“progra~1\spark”

相关问题