5.xKafka输入插件：没有从Kafka主题读取消息

cbeh67ev 于 2021-06-08 发布在 Kafka

关注(0)|答案(2)|浏览(302)

计划将elk安装程序升级到5.x，同时尝试在新环境的转发器和logstash服务器之间添加kafka消息队列。
转发器发送给Kafka的消息没有问题。我通过Kafka消费脚本验证了这一点。
但是当我使用logstashkafka输入插件从kafka中提取消息时，它不会写任何消息。我是否需要在配置中添加/启用任何特定设置？。
我的日志存储简单配置：

input {
kafka{
    topics => ["weblogs"]
    bootstrap_servers => "10.11.12.202:9092"
}
}

output {
  stdout { codec => rubydebug }
 file {
                 path => "/tmp/stdout.log"
           }
}

Kafka消费脚本输出主题：

[root@logstash kafka_2.11-0.10.2.0]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic weblogs
10.11.12.169 - - [27/Apr/2017:13:50:26 +0000] "GET / HTTP/1.0" 302 287 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"
192.168.10.11 - - [27/Apr/2017:13:50:29 +0000] "GET / HTTP/1.0" 302 281 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"
10.11.12.169 - - [27/Apr/2017:13:50:29 +0000] "GET / HTTP/1.0" 302 291 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"
10.11.12.169 - - [27/Apr/2017:13:50:32 +0000] "GET / HTTP/1.0" 302 289 "-" "check_http/v2.0.3 (nagios-plugins 2.0.3)"

apache-kafka logstash logstash-configuration

来源：https://stackoverflow.com/questions/44047826/logstash-5-x-kafka-input-plugin-no-message-read-from-kafka-topic

2条答案

按热度按时间

thigvfpy1#

这是从kafka获取输入并将其转发到elasticsearch的基本logstash配置。

input {
 kafka {
    bootstrap_servers =>["kafka1:9092"]
    topics => ["kafka-topic"]
    codec => json {}
}
}

output {
elasticsearch {
    hosts => "elasticsearch:9200"
    manage_template => false
    index => "kafka-%{+YYYY.MM.dd}"
}
}

赞(0）回复(0）举报 2021-06-09

6ioyuze22#

这是我让它工作的基本配置。

input {
  kafka { 
        bootstrap_servers =>["kafkaIp:9092"]
        topics => ["topic1"]
        codec => "json"
        group_id => "logstashgroup"
  }
}
output {
    elasticsearch {
      hosts => ["http://elasticsearchIp:9200"]
      manage_template => true
      index => "indexname"
    }
}

希望这有帮助。

赞(0）回复(0）举报 2021-06-08

我来回答

5.xKafka输入插件：没有从Kafka主题读取消息

2条答案

相关问题

热门标签

最新问答