我们想用logstash获取日志并将其传递给Kafka。
我们为logstash1.5.0beta1和kafka2.9.2\u0.8.1.1编写了以下conf文件
**
input {
file {
type => "apache"
path => ["/var/log/apache2/access.log", "/var/log/apache2/error.log"]
}
}
output {
kafka {
codec => plain {
format => "%{message}"
}
topic_id => "example1"
}
}
**
运行以下命令后:bin/logstash agent-f test.conf--log ex.log
test.conf是我们的conf文件。ex.log是我们为要存储的日志创建的空白文件。
我们得到以下输出
正在将logstash日志发送到ex.log。使用里程碑2输入插件'文件'。这个插件应该是稳定的,但如果你看到奇怪的行为,请让我们知道!有关插件里程碑的更多信息,请参阅http://logstash.net/docs/1.5.0.beta1/plugin-milestones {:level=>:warn}使用里程碑1输出插件“kafka”。这个插件应该可以工作,但会受益于像你这样的人使用。请让我们知道如果你发现错误或有关于如何改进这个插件的建议。有关插件里程碑的更多信息,请参阅http://logstash.net/docs/1.5.0.beta1/plugin-milestones {:level=>:warn}log4j:warn找不到logger(kafka.utils.verifiableproperties)的附加器。log4j:warn请正确初始化log4j系统。log4j:warn有关详细信息,请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig。slf4j:未能加载类“org.slf4j.impl.staticloggerbinder”。slf4j:默认为无操作(nop)记录器实现slf4j:请参阅http://www.slf4j.org/codes.html#staticloggerbinder 更多细节。
我们尝试在bashrc中设置类路径。不起作用。请告诉我们哪里出了问题。提前谢谢!
1条答案
按热度按时间3wabscal1#
您可以检查以下事项:主题example1是否可用?如果没有,你在Kafka使用自动创建?检查以下现有主题:
示例1应该在返回的项目之间,如果不是,您也可以手动创建主题。
要查看kafka是否收到启动消费者的消息:
我启动了一个简单的logstash示例,它在中侦听标准,并使用consumer查看消息是否到达kafka。这是我的日志存储配置:
希望有帮助