使用elasticsearch索引日志文件

bmp9r5qi  于 2021-06-04  发布在  Flume
关注(0)|答案(2)|浏览(436)

我对elasticsearch是个新手。我已经在这个搜索了几天,但没有找到任何相关的。实际上,我想通过apacheflume索引来自spooldir的日志文件。
我可以在elasticsearch中接收数据。但是现在我想把日志数据分成几个字段,然后建立索引。比如说。。。
“127.0.0.1---[18/mar/2015:20:36:04-0700]“get/http/1.1”404 994“…这是我的日志数据。
现在索引应该像。。。

field 1 is IP address,
 field 2 is timestamp, 
 field 3 is GET or POST method,
 field 4 is protocol,
 field 5 is status code,
 field 6 is time taken

然后我想用kibana可视化这些字段。默认情况下,我只能看到kibana字段,如

_source, 
_index,
 _id, 
_type

我想显示所有这些字段。

am46iovg

am46iovg1#

使用logstash。
logstash负责索引许多类型的日志。您可以在这里找到一个使用 grok 过滤器。
如果logstash指数化是成功的,你将能够看到所有日志在kibana。

4c8rllxm

4c8rllxm2#

要么在flume中使用morphline拦截器来解析数据,要么编写自己的拦截器来完成此任务。
logstash也可以很好地工作,但是它缺少flume的事务处理功能。

相关问题