在气流中使用spark

cu6pst1q  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(195)

我有一个气流管道,其中一个DAG包含一个Spark作业。我有两个spark工作的选项(该工作写入elasticsearch,但我不知道这是否是有用的信息):
用scala编写作业以提高性能
使用pyspark作为python中定义的气流管道
是否有更好的可读性/性能/错误处理选项(我不喜欢scala或python语言)
先谢谢你

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题