sparkshell:webui在执行进程时不会改变

oug3syen  于 2021-05-27  发布在  Spark
关注(0)|答案(2)|浏览(423)

我在本地模式下使用spark。我运行sparkshell并使用一个文件作为数据集。所有的工作都非常好(例如,我让sparkshell计算文件中以“a”开头的字数,我得到了一个好结果),但是当我看到web ui时,它一点也没有改变。
你知道为什么在我运行一个进程时web ui没有进化吗?

jckbn6z7

jckbn6z71#

看来,端口号是8080。参考文件https://spark.apache.org/docs/latest/spark-standalone.html

mpgws1up

mpgws1up2#

在本地启动spark shell时,不是单独使用spark。您正在运行本地。您应该会看到绑定到端口404x的消息。如果内存正确的话,404x就是你应该使用的。
如果你打字 http://localhost:4040 -或https。。。或者服务器名或ip地址而不是本地主机,你将被带到4040/作业,你将看到你的作业,应用程序。
如果你开始使用单机版,你会看到那里的应用程序和端口4040,4041等,任何适用的。从单机版你可以点击404x。

相关问题