kafka流速度减慢/几天后不读取数据

pw9qyyiw  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(250)

我有一个kafkastreams应用程序,它从4个主题(比如a、b、c、d)读取数据,每个主题有5个分区。主题b用于创建用于连接来自主题a的数据的全局ktable。
2个主题(a,b)每3小时在20-30分钟的短时间内摄取200-300万条关于每个主题的记录。另外两个主题(c,d)在一小时内接收50条消息(大部分是元数据)。在正常情况下,应用程序最多需要30分钟来处理主题a、b收到的全部记录。
应用程序突然变慢了处理相同数量的记录需要6个多小时,但如果我重新启动应用程序,它将在20-30分钟内完成处理。没有例外,错误为什么/是什么原因导致处理速度突然减慢。
kafka&vm,在同一网络中运行的应用程序不存在网络问题。
任何一个指针,一个方向,寻找什么可能是原因将是伟大的。
谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题