我是Spark编程的新手,使用IntelliJ IDE开发Spark应用程序。我想实现的是在IntelliJ中继续调试的同时到达Spark Web UI。但是,当我试图到达SparkContext提供的URL时,我得到了“This site cannot be reached”错误。
有没有可能既监视Spark Web UI又在IntelliJ中进行调试?
先谢谢你。
更新
我已经尝试过http://localhost:4040和http://localhost:8088。而且,当通过命令行界面启动spark-shell时,我可以从http://localhost:4040访问Spark Web UI。
2条答案
按热度按时间new9mtju1#
您可以在端口:8088(例如:https://hostname:8088
mjqavswn2#
我遇到了同样的问题。我的观察是,当程序运行时,您仍然可以访问端口4040上的SparkUI。但当您到达断点时,您就无法访问了--可能是因为程序被挂起了,但我不是很确定。
希望这对你有帮助