我对elasticsearch是个新手。我已经在这个搜索了几天,但没有找到任何相关的。实际上,我想通过apacheflume索引来自spooldir的日志文件。
我可以在elasticsearch中接收数据。但是现在我想把日志数据分成几个字段,然后建立索引。比如说。。。
“127.0.0.1---[18/mar/2015:20:36:04-0700]“get/http/1.1”404 994“…这是我的日志数据。
现在索引应该像。。。
field 1 is IP address,
field 2 is timestamp,
field 3 is GET or POST method,
field 4 is protocol,
field 5 is status code,
field 6 is time taken
然后我想用kibana可视化这些字段。默认情况下,我只能看到kibana字段,如
_source,
_index,
_id,
_type
我想显示所有这些字段。
2条答案
按热度按时间am46iovg1#
使用logstash。
logstash负责索引许多类型的日志。您可以在这里找到一个使用
grok
过滤器。如果logstash指数化是成功的,你将能够看到所有日志在kibana。
4c8rllxm2#
要么在flume中使用morphline拦截器来解析数据,要么编写自己的拦截器来完成此任务。
logstash也可以很好地工作,但是它缺少flume的事务处理功能。