如何使用spark submit运行pyspark项目

zlwx9yxi  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(453)

我无法使用spark submit运行pyspark项目,我使用了以下命令:

PYSPARK_PYTHON=/dsapps/anaconda3/bin/python 

spark-submit \
   --conf "spark.cassandra.connection.host=Hostname" \
   --jars /home/user/spark-cassandra-connector-assembly_2.11-2.5.1.jar \
   --py-files /home/user/sample_py.zip \
   /home/user/sample_main.py.

这里的“sample\u py.zip”是我的pyspark项目,“sample\u main.py”是我的pyspark项目的pyspark主类。
所以我要做的就是 ModuleNotFoundError . 有人能帮我吗?我犯了什么错误吗?少了什么吗?如何解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题