使用ipython和jupyter笔记本运行spark应用程序

oknrviil  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(425)

我正在尝试使用这些说明安装jupyter。
我已经安装在anaconda下,当我尝试运行pyspark时(从使用pyspark启动笔记本的部分),我收到以下错误:
$pyspark traceback(最近一次调用last):file“/opt/cloudera/parcels/anaconda/bin/jupyter”,第4行,来自jupyter\u core.command import main importerror:没有名为jupyter\u core.command的模块

wfveoks0

wfveoks01#

在一个特定的目录中创建一个脚本,然后使用pyspark登录到jupyte

!/垃圾箱/垃圾箱

export pyspark\u driver\u python=/opt/cloudera/parcels/anaconda/bin/jupyter export pyspark\u driver\u python\u opts=“notebook--notebookapp.open\u browser=false--notebookapp.ip='*'--notebookapp.port=8880”导出路径=/opt/cloudera/parcels/anaconda/bin:$path pyspark
去http://host-name:8880/

相关问题