sparksql中用户定义函数(udf)的scala到java转换

ngynwnxp  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(477)
spark.sqlContext.udf.register('dataSource', (data: scala.collection.mutable.WrappedArray$ofRef, ofType : String) => {

    var flag = ''
    try{
    val array: Seq[String] = data.flatten(x => Seq(x.toString()))
    array.foreach(s => if(s.contains(ofType)) { flag = ofType })
    }
    catch {
    println("Exception :" + x.getMessage)
    flag = ''
    }
    flag;

})
6vl6ewon

6vl6ewon1#

不需要将这个scala代码转换成java代码。在spark中,您可以用任何语言注册udf,也可以在java或scala中使用它,只要它在相同的sparksession或上下文中使用。

相关问题