logstash kafka集成不工作

6jjcrrmo  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(383)

我们想用logstash获取日志并将其传递给Kafka。
我们为logstash1.5.0beta1和kafka2.9.2\u0.8.1.1编写了以下conf文件

**

input {    
         file {    
         type => "apache"    
         path => ["/var/log/apache2/access.log", "/var/log/apache2/error.log"]    
     }
}

output {    
    kafka {    
        codec => plain {    
            format => "%{message}"    
        }
    topic_id => "example1"    
    }    
}

**

运行以下命令后:bin/logstash agent-f test.conf--log ex.log
test.conf是我们的conf文件。ex.log是我们为要存储的日志创建的空白文件。
我们得到以下输出
正在将logstash日志发送到ex.log。使用里程碑2输入插件'文件'。这个插件应该是稳定的,但如果你看到奇怪的行为,请让我们知道!有关插件里程碑的更多信息,请参阅http://logstash.net/docs/1.5.0.beta1/plugin-milestones {:level=>:warn}使用里程碑1输出插件“kafka”。这个插件应该可以工作,但会受益于像你这样的人使用。请让我们知道如果你发现错误或有关于如何改进这个插件的建议。有关插件里程碑的更多信息,请参阅http://logstash.net/docs/1.5.0.beta1/plugin-milestones {:level=>:warn}log4j:warn找不到logger(kafka.utils.verifiableproperties)的附加器。log4j:warn请正确初始化log4j系统。log4j:warn有关详细信息,请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig。slf4j:未能加载类“org.slf4j.impl.staticloggerbinder”。slf4j:默认为无操作(nop)记录器实现slf4j:请参阅http://www.slf4j.org/codes.html#staticloggerbinder 更多细节。
我们尝试在bashrc中设置类路径。不起作用。请告诉我们哪里出了问题。提前谢谢!

3wabscal

3wabscal1#

您可以检查以下事项:主题example1是否可用?如果没有,你在Kafka使用自动创建?检查以下现有主题:

bin/kafka-topics.sh --list --zookeeper localhost:2181

示例1应该在返回的项目之间,如果不是,您也可以手动创建主题。

bin/kafktopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic example1

要查看kafka是否收到启动消费者的消息:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic example1

我启动了一个简单的logstash示例,它在中侦听标准,并使用consumer查看消息是否到达kafka。这是我的日志存储配置:

input {
        stdin { }
}

output {
    kafka {
        codec => plain {
            format => "%{message}"
        }
        topic_id => "example1"
    }
}

希望有帮助

相关问题