使用Spark shell时找不到Spark Submit

xxhby3vn  于 2022-11-25  发布在  Apache
关注(0)|答案(2)|浏览(392)

我安装了spark,并尝试在shell中使用以下命令运行目录"/home/xxx/Desktop/BD_Project“中的文件”train.py“:$SPARK_HOME/bin/spark-submit /home/xxx/Desktop/BD_Project/train.py > output.txt
我的队友们使用了和我安装Spark相同的页面,在运行这个程序时没有任何问题。但是,它向我抛出了以下错误:bash: /bin/spark-submit: No such file or directory

a1o7rhls

a1o7rhls1#

您需要将SPARK_HOME设置为spark的安装位置,通常为/usr/local/spark/bin/bin/spark-submit
在设置它之前,请转到目录以确定spark的安装位置。
您可以在执行命令之前,将其设定为:

export SPARK_HOME=/usr/local/spark/bin/bin/spark-submit
r9f1avp5

r9f1avp52#

如果您是自制用户,请将SPARK_HOME设置为
/opt/homebrew/Cellar/apache-spark/3.3.1/libexec"
将解决。抱歉太晚回应。希望这将有助于这个奇怪的错误的人。

相关问题