在logstash和kafka中对消息进行优先级排序

yduiuuwa 于 2021-06-08 发布在 Kafka

关注(0)|答案(1)|浏览(520)

我们将从不同的来源向Kafka提供不同的原木。Kafka的消费者将比其他信息更感兴趣的是某些特定的集合（或某些格式）信息。我们如何确定消息的优先级？
一种想法是在kafka中创建两个主题-1）高优先级主题2）低优先级主题，然后使用logstash中的filter将感兴趣的消息推送到高优先级主题，其余的消息推送到其他主题。这可能吗？
有什么推荐的方法吗？

elasticsearch apache-kafka logstash producer-consumer

来源：https://stackoverflow.com/questions/38252392/prioritising-message-in-logstash-and-kafka

1条答案

按热度按时间

am46iovg1#

使用标记或键入logstash来区分高优先级和低优先级，然后有两个kafka输出。

if CONDITIONAL {
  kafka {
    topic => "high_priority_topic"
    ...
  }
}
else {
  kafka {
    topic => "low_priority_topic"
    ...
  }
}

使用条件类型

[type] == "high_priority"

使用标记看起来像

"high_priority" in [tags]

赞(0）回复(0）举报 2021-06-09

我来回答

在logstash和kafka中对消息进行优先级排序

1条答案

相关问题

热门标签

最新问答