我想用官方不支持的编程语言(即julia)实现spark udfs的 Package 器。以前,我已经实现了rddapi,所以运行worker和进程之间的通信不是问题。然而,我不清楚哪些接口应该由 Package 类实现,以使其与catalyst一起工作。
我从pythonudf开始 Expression
接口和保持 PythonFunction
对输入数据进行调用。然而, PythonUDF
不实现 eval()
方法(类扩展 Unevaluable
因此不负责自己执行。相反,有几个额外的类,比如arrowevalpythonexec,它们完成了实际的工作。但两者之间是什么呢?
为了使这个问题更具体,我想知道其中任何一个:
你怎么知道的 PythonUDF
变成实际代码?
对于新的编程语言,实现类似行为的最简单方法是什么?
暂无答案!
目前还没有任何答案,快来回答吧!