如何为一种还不受支持的编程语言实现spark udf类?

qzlgjiam  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(214)

我想用官方不支持的编程语言(即julia)实现spark udfs的 Package 器。以前,我已经实现了rddapi,所以运行worker和进程之间的通信不是问题。然而,我不清楚哪些接口应该由 Package 类实现,以使其与catalyst一起工作。
我从pythonudf开始 Expression 接口和保持 PythonFunction 对输入数据进行调用。然而, PythonUDF 不实现 eval() 方法(类扩展 Unevaluable 因此不负责自己执行。相反,有几个额外的类,比如arrowevalpythonexec,它们完成了实际的工作。但两者之间是什么呢?
为了使这个问题更具体,我想知道其中任何一个:
你怎么知道的 PythonUDF 变成实际代码?
对于新的编程语言,实现类似行为的最简单方法是什么?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题