connect和flink的实时流数据管道

kqhtkvqz  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(446)

我计划为其中一个需求整合以下数据管道。
ibm mq->Kafka连接->flink->mongodb
flink实时流是执行过滤、应用业务规则和丰富传入记录。
IBMMQ部件是一个不能更改的遗留组件。
可能合流或cloudera平台将用于容纳Kafka和Flink的流动部分。
我可以围绕上述方法提出一些想法/建议。

c9qzyr3d

c9qzyr3d1#

我会仔细看看你是否真的需要Kafka。我相信ibm mq支持jms,并且apache bahir中有一个与jms兼容的flink连接器:http://bahir.apache.org/docs/flink/current/flink-streaming-activemq/.

相关问题