kafka连接工作者过载

3pvhb19x  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(273)

我用10个带10go内存的代理以分布式模式运行kafka connect。Kafka连接正在Kubernetes上运行。
我有4个主题,有6个分区,要放到s3。这4个主题具有不同的吞吐量(其中一个相对于其他主题而言相当高)。我有4个不同的Flume,每个主题一个Flume,每个Flume有6个任务。
我看到我的一个worker过载,pod的网络i/o太高。当我研究工作人员之间的任务分配时,我看到“高吞吐量”主题中的3个任务正在该工作人员上运行。。。这就是为什么嗯:)
我想知道我是否可以强制在员工之间分配任务,以避免这个瓶颈?
如果你需要更多关于我问题的信息,告诉我。谢谢您。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题