我需要从数据流中捕获更改。下面是我的解决方案。
数据流进入kafka->consumer获取数据并向dynamodb插入/更新(修剪的数据)(我们已经配置了dynamodb流)。每次插入/更新之后,都会生成一个包含更改数据的流,然后由lambda进行解释和处理。
现在我的问题是,如果必须用couchbase替换dynamodb,couchbase会提供现成的cdc吗?我对couchbase很陌生,我尝试过搜索cdc功能,但没有直接的文档。
任何提示都会非常有用!谢谢!
我需要从数据流中捕获更改。下面是我的解决方案。
数据流进入kafka->consumer获取数据并向dynamodb插入/更新(修剪的数据)(我们已经配置了dynamodb流)。每次插入/更新之后,都会生成一个包含更改数据的流,然后由lambda进行解释和处理。
现在我的问题是,如果必须用couchbase替换dynamodb,couchbase会提供现成的cdc吗?我对couchbase很陌生,我尝试过搜索cdc功能,但没有直接的文档。
任何提示都会非常有用!谢谢!
2条答案
按热度按时间wd2eg0qa1#
couchbase有一个官方支持的kafka连接器(这里有文档)。
我不熟悉“cdc”这个术语,但是这个couchbase kafka连接器既可以作为接收器也可以作为源。。它不是“开箱即用”本身,它是一个单独的连接器。
kb5ga3dv2#
couchbase似乎不支持更改数据捕获(changedatacapture,cdc),但是有一些特性可以在文档更改时通知您。例如,源kafka连接器在更改时使用它并发送文档,包括使用defaultschemasourcehandler配置时的元数据,它应该足够靠近cdc:
https://docs.couchbase.com/kafka-connector/current/quickstart.html#defaultschemasourcehandler