我试图通过合并具有相同密钥的更新来减少持久层的通信量。最新消息来自Kafka。有趣的是，我发现当我有多个消费者时，每个消费者都有10%以上的dup键，但是如果我只有一个消费者，dup键会增加到40-50%。我怀疑某个密钥进入了多个分区，实际上在采样之后，我发现密钥的一致部分最终进入了多个分区。现在我想知道为什么会这样。密钥位于多个分区中的常见原因是什么？
tvmytwxo1#
添加分区将更改密钥的路由方式。因此，您可以在两个分区中找到具有相同密钥的消息。在键x之前，它通常会转到分区5，但是在添加一个或多个分区之后，它可能会转到分区3。现在在分区3和分区5中有了密钥x。这就是为什么您需要非常小心您的分区策略。
1条答案
按热度按时间tvmytwxo1#
添加分区将更改密钥的路由方式。因此，您可以在两个分区中找到具有相同密钥的消息。在键x之前，它通常会转到分区5，但是在添加一个或多个分区之后，它可能会转到分区3。现在在分区3和分区5中有了密钥x。这就是为什么您需要非常小心您的分区策略。