我正在windows10的ubuntuwsl中安装pyspark。这些是我从microsoft应用商店安装wsl后使用的命令。
# install Java runtime environment (JRE)
sudo apt-get install openjdk-8-jre-headless
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/jre
# download spark, visit https://spark.apache.org/downloads.html if you want a different version
wget https://apache.osuosl.org/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
# untar and set a symlink
sudo tar -xvzf spark-2.4.7-bin-hadoop2.7.tgz -C /opt
sudo ln -s spark-2.4.7-bin-hadoop2.7 /opt/spark
ln -s /usr/bin/python3.8.5 python
/opt/spark/bin/pyspark错误：
/mnt/c/Users/akash/.pyenv/pyenv-win/bin/pyenv: 3: cmd: not found
/mnt/c/Users/akash/.pyenv/pyenv-win/bin/pyenv: 3: cmd: not found我不明白为什么它是在c驱动器寻找。如何解决这个问题？感谢您的帮助。
1条答案
按热度按时间c3frrgcw1#
不要创建符号链接，而是尝试将解包目录spark-3.0.1-bin-hadoop2.7移动到opt/spark目录：
另外，请使用最新版本，即带有hadoop2.7的spark3.0.1。
你可以通读这篇在线文章了解更多细节。