如何使用spark和python更新hdp2.2中的python2.7

csga3l58  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(441)

我试图在hdp2.2中使用ipython和spark,但似乎只有python2.7支持ipython。我已经安装了spark并进行了很好的测试,但是在使用yum命令安装ipython之后,python的版本出现了问题。

[root@sandbox spark12]# ipython
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36)
Type "copyright", "credits" or "license" for more information.

IPython 0.13.2 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

ipython单独运行,但当我尝试将其与Pypark一起使用时:

[root@sandbox spark12]# IPYTHON=1 ./bin/pyspark
IPython requires Python 2.7+; please install python2.7 or set PYSPARK_PYTHON

我想知道如何将python2.6更新到2.7。系统似乎阻止我卸载python2.6。我觉得python和hadoop系统是集成的,很难单独更新。

eivgtgni

eivgtgni1#

python没有与hadoop系统集成。
python 2.6.6是centos 6.5/rhel 6的默认版本。
在任何情况下都不应尝试卸载/更新默认版本,因为它具有系统依赖性。
您可以安装一个更新的python版本作为现有版本的替代。使用新版本启动ipython。

j1dl9f46

j1dl9f462#

有点晚,我知道,但我有一个类似的问题,使用centos。
我可以通过下载anaconda发行版的python2.7版本相对容易地解决这个问题 wget http://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh 什么时候下载的 bash Anaconda2-2.5.0-Linux-x86_64.sh 按照说明-选择一个安装anaconda的位置并将此位置添加到您的路径中。
完成后,键入 source ~/.bashrc 然后你就可以用pyspark运行ipython了 [user@quickstart ~]$ IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark [I 09:43:06.241 NotebookApp] Serving notebooks from local directory: /home/user [I 09:43:06.241 NotebookApp] 0 active kernels [I 09:43:06.241 NotebookApp] The Jupyter Notebook is running at: http://localhost:8888/

相关问题