debezium sql server源连接器在连接器重新启动后跳过记录

z2acfund  于 2021-07-24  发布在  Java
关注(0)|答案(1)|浏览(494)

我使用debezium cdc sql server源连接器从sql server获取数据并将其放入kafka中我使用的配置如下

  1. name=ds1
  2. connector.class=io.debezium.connector.sqlserver.SqlServerConnector
  3. tasks.max=1
  4. database.server.name=server2
  5. database.hostname=localhost
  6. database.port=1433
  7. database.user=sa
  8. database.password=Password!
  9. database.dbname=demo
  10. # table.whitelist=mytable
  11. database.history.kafka.bootstrap.servers=localhost:9092
  12. database.history.kafka.topic=schema-changes.demo

当我用相同的名称重新启动连接器时,连接器不会获取现在生成的数据,是否有任何错误,或者是否需要为连接器添加其他配置?

x6h2sr28

x6h2sr281#

这正是人们所期望的行为。kafka connect将使用连接器的名称来存储从中读取源系统中数据的偏移量。重新启动连接器时,kafka connect将不会重新处理已经读取的数据,否则会产生不需要的重复数据。
如果要实际重新处理现有数据,最简单的方法是使用新名称创建连接器。

相关问题