我将kafka0.9.0和pykafka一起用作scrapy中的url队列,我使用的主题有30个分区和4个使用者。
一开始它工作正常,但当它工作了几个小时左右,Kafka似乎有一个问题,重新平衡的partitons,我得到了一些信息,如
无法获取分区<pykafka.partition.partition at 0x7f0b422cbfd0(id=23)>。正在重试
但也有两个例外
pykafka.exceptions.consumerstoppedeexception
pykafka.exceptions.partitionownederror错误
所以我想知道Kafka分区的分配。我使用kafka-consumer-groups.sh
./kafka-consumer-groups.sh—Zookeeperhost:port --group 名称--描述
Kafka的文件上提到了,但我的名单是空的。
暂无答案!
目前还没有任何答案,快来回答吧!