我正在使用storm kafka api读取来自kafka主题的消息,该主题包含3个副本和70个分区,我使用的kafka喷口有15个执行器,是否可能因为我没有70个执行器而丢失消息?如何确保kafka中的所有消息都被消费者接收?谢谢您
egdjgwm81#
默认情况下,kafka对您已经知道的提交给kafka的数据提供至少一次的交付保证。如果用户组的用户示例少于分区,则将根据分区分配策略为用户分配多个分区。默认情况下,它使用rangeassignor。你可以在这里阅读更多关于Kafka交付语义的内容。
1条答案
按热度按时间egdjgwm81#
默认情况下,kafka对您已经知道的提交给kafka的数据提供至少一次的交付保证。如果用户组的用户示例少于分区,则将根据分区分配策略为用户分配多个分区。默认情况下,它使用rangeassignor。你可以在这里阅读更多关于Kafka交付语义的内容。