我正在测试一个简单的管道-filebeat>fafka>logstash>文件。
logstash没有从Kafka那里读取，但是我看到Kafka在我使用这个命令时有消息-

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MyTopic --from-beginning

我的文件配置-

filebeat.prospectors:
- input_type: log
  paths:
    - /root/LogData/input.log

output.kafka:
  hosts: ["10.247.186.14:9092"]

  topic: MyTopic 
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: none
  max_message_bytes: 1000000

我的日志存储配置

input {
        kafka {
                bootstrap_servers => "localhost:9092"
                topics => ["MyTopic"]
        }

}

output {

        file {
                path => "/usr/share/logstash/test_out.log"

        }
}

我的fafka和logstash运行在同一个vm上，我使用logstash docker，我启动logstash的docker如下-

sudo docker run -d --name logstash --expose 25826 -p 25826:25826 docker.elastic.co/logstash/logstash:5.4.0 --debug

filebeat在不同的vm上运行。
我创建的主题如下-

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic