可以在logstash输出配置中提到分区id吗?
logstash.conf: |
input {
kafka {
group_id => "test-group"
bootstrap_servers => "cluster_one"
topics => ["topic-one"]
codec => "json"
type => "test"
decorate_events => true
}
}
filter {
mutate{
add_field => { "[partition_number]" => "%{[@metadata][kafka][partition]}"}
}
}
output {
kafka {
topic_id => ["topic-one"]
bootstrap_servers => "cluster_two"
codec => json
}
}
字符串
这是我的logstash配置,有没有办法在输出中提到partition_number?我的要求是来自Kafka cluster_one的一个分区ID的事件应该转到Kafka cluster_two上的同一个分区ID。
1条答案
按热度按时间qeeaahzv1#
首先,Logstash不能保证你的目标主题有相同数量的分区。
否则,
然后,数据将被计算以到达相同的分区,并且您不需要任何过滤器/变异逻辑,或重复化