在安装了export spark\u submit\u opts之后,我正在使用spark submit testmysparkfile.jar命令运行spark jar文件=-agentlib:jdwp=transport=dt_socket,服务器=y,挂起=y,地址=5005;
代码是用scala编写的。下面是我正在创建的spark会话-
val spark = SparkSession
.builder()
.appName("testmysparkfile")
.config("spark.serializer",classOf[KryoSerializer].getName).master("local[*]")
.getOrCreate()
当我运行jar时,应用程序启动并侦听端口5005。现在,当我返回intellij并尝试运行'debug'时,它会很好地运行调试器,并且在侦听端口5005的终端窗口上接收示例输出,但是,我设置的断点没有命中。调试器设置-调试器mode:attach to 远程jvmhost:localhost port:5005命令行参数jvm:-agentlib:jdwp=transport=dt\u socket,server=y,suspend=n,address=5005使用模块类路径:
intellij终端的输出-连接到目标vm,地址:'localhost:5005'传输:'套接字'已断开与目标vm的连接,地址:'localhost:5005'传输:'套接字'
下面的示例演示了如何使用这样的调试器调试spark-http://www.bigendiandata.com/2016-08-26-how-to-debug-remote-spark-jobs-with-intellij/ 然而,这似乎不工作,因为我无法击中任何断点。
暂无答案!
目前还没有任何答案,快来回答吧!