如何更改齐柏林飞艇上使用的pyspark版本

jmo0nnb3  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(329)

我想在aws emr环境中的齐柏林飞艇上使用PySparkVer3.0.0。
当我使用spark2.4.2设置创建emr示例时,从一开始安装在环境中的pyspark版本也是2.4.2,但是我也希望将pysparkver3.0.0与此设置一起使用。
但是,即使我执行命令“sudo python3-m pip install pyspark==3.0.0”来安装pyspark版本3.0.0,/usr/lib/spark/python”下的pyspark版本2.4.2会优先导入zeppelin python3解释器,而pyspark版本3.0.0无法导入。
该环境中有两个版本的pyspark,但是在这种情况下,为了优先导入pyspark版本3.0.0,需要进行什么样的设置?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题