kafka sap连接器批量模式无法正常工作

pinkon5k  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(264)

我正在使用这个连接器

  1. https://www.confluent.io/connector/sap-hana-connector/

这是我的配置

  1. {
  2. "name": "sap",
  3. "config": {
  4. "connector.class": "com.sap.kafka.connect.source.hana.HANASourceConnector",
  5. "tasks.max": "10",
  6. "topics": "sap_OHEM,sap_OHST",
  7. "connection.url": "jdbc:sap://10.236.242.1:30015/",
  8. "connection.user": "user",
  9. "connection.password": "pass",
  10. "mode":"bulk",
  11. "poll.interval.ms":"86400000",
  12. "sap_OHEM.table.name": "\"public\".\"OHEM\"",
  13. "sap_OHEM.poll.interval.ms": "86400000",
  14. "sap_OHST.table.name": "\"public\".\"OHST\"",
  15. "sap_OHST.poll.interval.ms": "86400000",
  16. }
  17. }

ohem有超过30万排,ohst有大约500排。我的问题是,连接器只复制了100行,并将它们一次又一次地推到主题上,而不需要进行增量步骤。它不会复制所有的表,而是只复制其中的100行,然后一次又一次地复制它。我尝试了batch.max.rows,将100k作为限制,这解决了小表的问题,但没有解决大表的问题,因为它破坏了jvm内存
有人面临同样的问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题