我无法使用spark submit运行pyspark项目,我使用了以下命令:
PYSPARK_PYTHON=/dsapps/anaconda3/bin/python
spark-submit \
--conf "spark.cassandra.connection.host=Hostname" \
--jars /home/user/spark-cassandra-connector-assembly_2.11-2.5.1.jar \
--py-files /home/user/sample_py.zip \
/home/user/sample_main.py.
这里的“sample\u py.zip”是我的pyspark项目,“sample\u main.py”是我的pyspark项目的pyspark主类。
所以我要做的就是 ModuleNotFoundError
. 有人能帮我吗?我犯了什么错误吗?少了什么吗?如何解决这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!