hadoop Jupyter Notebook Pyspark处于Yarn-客户端模式名称错误'sc'未定义

dfddblmv 于 2022-11-01 发布在 Hadoop

关注(0)|答案(1)|浏览(214)

我是一个初学者。当我用基本代码运行Jupyter Notebook时，它显示了这样的错误：

NameErr      Traceback (most recencall last)
    <ipython-input-1-67f48183a30b> in <module>()
    ----> 1 sc.master
    NameError: name 'sc' is not defined

我使用以下命令行在Yarn客户端模式下进入Jutyper Notebook：
第一个
我使用的是Ubuntu 20.04，其中包含降级的Python 2.7、Hadoop 2.6.0、pyspark 1.4.0和jdk8
我怎样才能解决这个问题呢？它很混乱。
enter image description here

hadoop

来源：https://stackoverflow.com/questions/71403696/jupyter-notebook-pyspark-in-yarn-client-mode-nameerror-sc-not-defined

1条答案

按热度按时间

x4shl7ld1#

我终于明白了我的发射代码有问题...一个愚蠢的问题...
终端中的错误显示：

[I 10:45:43.265 NotebookApp] Kernel started: c6392ab5-ea7b-402e-ae26-6bc89e07791a
    Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.

这意味着我没有设置HADOOP_CONF_DIR或YARN_CONF_DIR，并且在我的启动代码中：

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_IR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client

我输入了HADOOP_CONF_IR而不是HADOOP_CONF_DIR，这导致了Yarn客户端无法成功启动的问题。

赞(0）回复(0）举报 2022-11-01

我来回答

hadoop Jupyter Notebook Pyspark处于Yarn-客户端模式名称错误'sc'未定义

1条答案

相关问题

热门标签

最新问答