我想用nats流服务器来流数据,用flink来处理数据。如何使用apache flink处理nats流服务器的实时流数据?
pxyaymoc1#
您需要找到或开发一个flink/nats连接器,或者将数据镜像到其他已经支持flink的流存储服务中。flink、apache bahir或flink社区包集合中的连接器中没有nats连接器。但是如果你四处搜索,你会在github上找到一些相关的项目。在评估连接器实现时,除了通常要考虑的因素外,还要考虑以下因素:它是否同时提供消费者和生产者界面?它做检查点吗?它提供了什么处理保证(至少一次,正好一次)错误处理有多好?性能:例如,是否以某种方式批量写入?它如何处理序列化?它是否公开了任何指标?如果您决定编写自己的连接器,那么可以将类似系统的现有连接器用作参考,例如nifi、pulsar等,并且您应该知道,数据源使用的接口目前正在flip-27的保护伞下进行重构。
1条答案
按热度按时间pxyaymoc1#
您需要找到或开发一个flink/nats连接器,或者将数据镜像到其他已经支持flink的流存储服务中。flink、apache bahir或flink社区包集合中的连接器中没有nats连接器。但是如果你四处搜索,你会在github上找到一些相关的项目。
在评估连接器实现时,除了通常要考虑的因素外,还要考虑以下因素:
它是否同时提供消费者和生产者界面?
它做检查点吗?
它提供了什么处理保证(至少一次,正好一次)
错误处理有多好?
性能:例如,是否以某种方式批量写入?
它如何处理序列化?
它是否公开了任何指标?
如果您决定编写自己的连接器,那么可以将类似系统的现有连接器用作参考,例如nifi、pulsar等,并且您应该知道,数据源使用的接口目前正在flip-27的保护伞下进行重构。