我在工作中遇到了一个问题。我们有一个在hdp集群上运行的kafka。Kafka失去了分区同步，我好像失去了一些信息。有人能向我证实，如果Kafka丢失了分区同步，它可能会丢失信息吗？
rqqzpn5f1#
所有消息仅写入前导分区。如果你有 acks=1 在producer配置中，则可以保证消息是写给该领导者的。如果你也有 unclean.leader.election=false 在群集中的每个代理上，则不能选择任何不同步副本作为先导，因此将不接受写入，并导致其他跟随者截断其日志以匹配不干净的先导。如果这两种情况都不成立，您就要为丢弃的消息负责。直到最近Kafka的发行，仍然有围绕领导人选举和日志截断的边缘案件，这是在Kafka峰会2018年讨论-硬化Kafka复制您可能还想查看clouderafaq，了解如何配置kafka以可靠地存储数据但是，我想指出Kafka并不能确保永远不会发生数据丢失
acks=1
unclean.leader.election=false
1条答案
按热度按时间rqqzpn5f1#
所有消息仅写入前导分区。如果你有
acks=1在producer配置中，则可以保证消息是写给该领导者的。如果你也有
unclean.leader.election=false在群集中的每个代理上，则不能选择任何不同步副本作为先导，因此将不接受写入，并导致其他跟随者截断其日志以匹配不干净的先导。如果这两种情况都不成立，您就要为丢弃的消息负责。
直到最近Kafka的发行，仍然有围绕领导人选举和日志截断的边缘案件，这是在Kafka峰会2018年讨论-硬化Kafka复制
您可能还想查看clouderafaq，了解如何配置kafka以可靠地存储数据
但是，我想指出
Kafka并不能确保永远不会发生数据丢失