收集mongodb delta数据并推送到kafka?

ndh0cuux  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(385)

我们有一个mongodb数据库,它不断地从不同的来源获取数据,我想继续把这些数据推给Kafka作为生产者在实时,这样我就可以有SparkKafka集成我的分析。让我知道是否有人在这方面做了什么,或者是否有任何可能的解决办法。flume不支持mongodb作为源,sqoop用于rdbms。

guz6ccqo

guz6ccqo1#

您可以使用Kafka连接:https://www.confluent.io/product/connectors/
如上所述,mongodb至少有2个源连接器可用:
https://github.com/datareply/kafka-connect-mongodb
https://github.com/teambition/kafka-connect-mongo

相关问题