众所周知，Kafka能够在0.11.0.0之后提供一次准确的交付语义。我希望通过这种方式将filebeat输出到kafka。根据kip98，它需要正确设置一些配置，包括 enable.idempotence , transaction.timeout.ms 以及 transactional.id 对于制作人（即filebeat）。但即使在最新版本的filebeat中，我也找不到这些配置。所以，我想知道它是否得到支持，如果它是肯定的，如何实现这一点。
众所周知，Kafka能够在0.11.0.0之后提供一次准确的交付语义。我希望通过这种方式将filebeat输出到kafka。根据kip98，它需要正确设置一些配置，包括 enable.idempotence , transaction.timeout.ms 以及 transactional.id 对于制作人（即filebeat）。但即使在最新版本的filebeat中，我也找不到这些配置。所以，我想知道它是否得到支持，如果它是肯定的，如何实现这一点。
1条答案
按热度按时间kmb7vmvb1#
目前，从filebeat的文档和相关资源来看，使用filebeat进行一次交付是不可能的。它当前使用至少一次传递，这意味着您将收到消息1次或多次。
虽然kafka可以支持一次语义，但是filebeat似乎不支持一次语义。filebeat需要实现这些配置以支持一次交付。