带couchbase的cdc(更改的数据捕获)

kupeojn6  于 2021-06-05  发布在  Kafka
关注(0)|答案(2)|浏览(470)

我需要从数据流中捕获更改。下面是我的解决方案。
数据流进入kafka->consumer获取数据并向dynamodb插入/更新(修剪的数据)(我们已经配置了dynamodb流)。每次插入/更新之后,都会生成一个包含更改数据的流,然后由lambda进行解释和处理。
现在我的问题是,如果必须用couchbase替换dynamodb,couchbase会提供现成的cdc吗?我对couchbase很陌生,我尝试过搜索cdc功能,但没有直接的文档。
任何提示都会非常有用!谢谢!

wd2eg0qa

wd2eg0qa1#

couchbase有一个官方支持的kafka连接器(这里有文档)。
我不熟悉“cdc”这个术语,但是这个couchbase kafka连接器既可以作为接收器也可以作为源。。它不是“开箱即用”本身,它是一个单独的连接器。

kb5ga3dv

kb5ga3dv2#

couchbase似乎不支持更改数据捕获(changedatacapture,cdc),但是有一些特性可以在文档更改时通知您。例如,源kafka连接器在更改时使用它并发送文档,包括使用defaultschemasourcehandler配置时的元数据,它应该足够靠近cdc:
https://docs.couchbase.com/kafka-connector/current/quickstart.html#defaultschemasourcehandler

相关问题