apache kafka消息的顺序不保留在rsyslog omkafka模块中

bsxbgnwa  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(478)

架构:文件->imfile->omkafka->单分区kafka主题->使用者
文件的内容是静态的。它一点也没变。我假设omkafka以有序的方式将数据推送到kafka代理。但事实并非如此。
有没有办法将rsyslog配置为按顺序发送文件?
如果生产者将消息推送到单个分区,那么kafka保证消息的顺序。因此,看起来omkafka模块搞乱了排序。

wmvff8tz

wmvff8tz1#

omkafka在幕后使用librdkafka,它还不支持一次交付(https://github.com/edenhill/librdkafka/issues/1308). 一旦这个问题得到解决,然后我会再次检查。

相关问题