我安装了spark,并尝试在shell中使用以下命令运行目录"/home/xxx/Desktop/BD_Project“中的文件”train.py“:$SPARK_HOME/bin/spark-submit /home/xxx/Desktop/BD_Project/train.py > output.txt
我的队友们使用了和我安装Spark相同的页面,在运行这个程序时没有任何问题。但是,它向我抛出了以下错误:bash: /bin/spark-submit: No such file or directory
2条答案
按热度按时间a1o7rhls1#
您需要将SPARK_HOME设置为spark的安装位置,通常为
/usr/local/spark/bin/bin/spark-submit
在设置它之前,请转到目录以确定spark的安装位置。
您可以在执行命令之前,将其设定为:
r9f1avp52#
如果您是自制用户,请将SPARK_HOME设置为
/opt/homebrew/Cellar/apache-spark/3.3.1/libexec"
将解决。抱歉太晚回应。希望这将有助于这个奇怪的错误的人。