我的结构是这样的:logfiles>filebeat>kafka>logstash>elasticsearch>kibana
但我被卡在Kafka的罗格藏部分。
首先,filebeat可以向kafka生成消息,我可以使用以下方法进行检查:
kafka-console-consumer.bat --zookeeper localhost:2181 --topic {topicName} --from-beginning
它也可以被命令消耗:
kafka-console-consumer.bat --zookeeper localhost:2181 --topic {topicName}
但是,当我尝试使用logstash来使用主题时,无法检索任何内容,zookeeper不断抛出:
2017-11-13 16:11:59205[我的ID:]-信息[nioservercxn。factory:0.0.0.0/0.0.0.0:2181:nioservercnxnfactory@215]-从/127.0.0.1:53201接受插座连接
2017-11-13 16:11:59207[myid:]-警告[nioservercxn。factory:0.0.0.0/0.0.0.0:21 81:nioservercnxn@383]-导致会话0x0关闭的异常:null
2017-11-13 16:11:59209[myid:]-信息[nioservercxn。factory:0.0.0.0/0.0.0.0:2181:nioservercnxn@1040]-客户端的封闭套接字连接/127.0.0.1:53201(没有为客户端建立会话)
此外,此语句中的端口号不断增加“accepted socket connection from/127.0.0.1:53201”。它正在扫描端口吗?
以下是一些背景。版本:
Zookeeper-3.4.11
Kafka2.10-0.10.2.1
日志存储-5.4.0
(插件)logstash输入kafka(5.1.6)
这是我的配置:
zoo.cfg(Zookeeper)
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
server.properties(Kafka)
listeners=PLAINTEXT://localhost:9092
zookeeper.connect=127.0.0.1:2181
logstash.config(日志存储)
input {
kafka {
bootstrap_servers => "localhost:2181"
topics => "test"
}
}
我想问题是由于Zookeeper和Kafka之间的配置,但我不知道如何解决它。请帮忙。
1条答案
按热度按时间sz81bmfz1#
你需要使用
localhost:9092
对于配置参数bootstrap_servers
-你把logstash指向zookeeper,但你需要指向Kafka本身。另一个错误是
topics
需要数组,所以应该是["test"]
而不是"test"