可以在logstash输出配置中提到分区id吗?

cnwbcb6i  于 12个月前  发布在  Logstash
关注(0)|答案(1)|浏览(153)

可以在logstash输出配置中提到分区id吗?

logstash.conf: |
    input {
        kafka {
                group_id => "test-group"
                bootstrap_servers => "cluster_one"
                topics => ["topic-one"]
                codec => "json"
                type => "test"
                decorate_events => true
        }
    }

    filter {
      mutate{
            add_field => { "[partition_number]" => "%{[@metadata][kafka][partition]}"}
        }
    }

    output {
       kafka {
         topic_id => ["topic-one"]
         bootstrap_servers => "cluster_two"
         codec => json    
      }
        
    }

字符串
这是我的logstash配置,有没有办法在输出中提到partition_number?我的要求是来自Kafka cluster_one的一个分区ID的事件应该转到Kafka cluster_two上的同一个分区ID。

qeeaahzv

qeeaahzv1#

首先,Logstash不能保证你的目标主题有相同数量的分区。
否则,

  • 如果你的数据有密钥
  • 假设logstash使用Kafka DefaultPartitioner Java类
  • 原始生产者没有任何自定义分区逻辑

然后,数据将被计算以到达相同的分区,并且您不需要任何过滤器/变异逻辑,或重复化

相关问题