我读到cloudera将google云数据流管道运行器改编为在spark上运行,数据工匠也将其改编为在flink上运行。目前还不清楚cloudera是否同时实现了批处理流媒体和窗口流媒体,一个帖子说没有,但其他帖子似乎没有提及,好像它也包括在内,而数据工匠们明确表示,正在为flink开发流媒体支持。
是否有来自google或其他dataflow维护者的页面列出了所有现有的替代管道运行器?作为替代,有人愿意维护一个规范的项目符号清单吗?google云平台似乎还不急于引入非google的实现,可能是因为这样可以更直接地保持外部存储库与内部版本的同步。
1条答案
按热度按时间dgtucam11#
“google云数据流sdk运行者”部分https://cloud.google.com/dataflow/partners 具有现有跑步者的列表。
关于流媒体支持,cloudera编写的spark runner目前不支持。