spark debug,如何找到失败的udf标识符

hts6caw3  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(185)

所以现在我想调试我的spark代码,看看哪里是失败的根本原因。我现在得到的最有用的信息是 Failed to execute user defined function($anonfun$29: (map<string,string>, map<string,string>) => map<string,string>) at com.paypal.oracle.spark.wrappers.MergeLookUp.lookUpDataFrame(MergeLookUp.java:130) 这给找出哪一个udf失败带来了困难和不确定性。有没有什么建议,我可以知道这是一个失败的自定义项,如添加调试代码的地方?在我的例子中,只知道它的参数和返回类型是不够的。顺便说一句,我正在使用intellij idea社区版,如果有一些工具相关的提示适用,我也很乐意给一个镜头。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题