pyspark 无法在Jupyter中启动Spark会话

gv8xihay 于 2022-11-01 发布在 Spark

关注(0)|答案(1)|浏览(172)

我已经在anaconda中安装了pyspark，运行了findspark。（）并且没有问题。但是当运行pyspark shell时，spark变量（SparkSession）需要太长的时间来创建，以至于在某个时候，代码只是停止运行，而没有创建变量。enter image description here我昨天又试了一次，它花了一整天，甚至没有工作，我已经尝试了一切，重新启动我的计算机，关闭我的Jupyterlab会话，但我仍然有同样的问题。有人能帮助我吗？

pyspark

来源：https://stackoverflow.com/questions/73969055/unable-to-start-a-spark-session-in-jupyter

1条答案

按热度按时间

bvuwiixz1#

echo "export SPARK_HOME=/usr/local/spark-${SPARK:6:6}" >> ~/.bashrc
echo 'export PYTHONPATH=$(ZIPS=("$SPARK_HOME"/python/lib/*.zip); IFS=:; echo "${ZIPS[*]}"):$PYTHONPATH' >> ~/.bashrc
source ~/.bashrc

赞(0）回复(0）举报 2022-11-01

我来回答

pyspark 无法在Jupyter中启动Spark会话

1条答案

相关问题

热门标签

最新问答