Kafka 我目前将Stream应用程序正在阅读的主题切换到另一个主题的方法可行吗?或者有更好的方法吗?

mwkjh3gx  于 2023-06-05  发布在  Apache
关注(0)|答案(1)|浏览(163)

我正试着切断数据管道的一个组件并重新布线。目前,我有两个KStream应用程序,让我们说A和B。App A从Kafka主题1消费,然后处理发布到另一个Kafka主题2,App B从该主题消费。是否有将应用程序B切换为直接从主题1消费而不丢失数据的最佳实践,以及如何进行测试?
到目前为止,我目前的想法是关闭App A,等待所有下游消息处理完毕。稍等片刻,然后停止应用程序B。然后从App A获取当前偏移量,并将其设置为App B的新偏移量,然后再次启动App B。我仍然试图在实际尝试之前把所有的东西都画出来,并想测试它是否有效。

gcuhipw9

gcuhipw91#

我建议从“应用程序B”观察消费者组滞后,然后如果/当它达到零时,你可以关闭它,然后改变它的消费来源。
如果可能的话,你也可以停止任何生产者喂养“主题1”,使“应用程序B”将保证达到零滞后。

相关问题