可以将作为web服务公开的日志数据输入elasticssearch吗?

sq1bmfud  于 2021-06-03  发布在  Flume
关注(0)|答案(2)|浏览(343)

我有许多应用程序运行在不同的数据中心,由不同的供应商开发和维护。每个应用程序都有一个web服务,它公开为应用程序合并的相关日志数据(审计数据、安全数据、与成本计算相关的数据、性能数据等)。
我的任务是将每个系统中的数据放入elasticsearch、kibana和logstash的设置中,这样我就可以创建业务报告或以我想要的方式查看数据。
假设我有一个jboss应用服务器来集成这些“公开日志”服务,那么什么是提供elasticssearch的最佳方式?调用每个服务的logstash插件?jboss使用了一些logstash插件?或者其他方式?

ep6jt1vc

ep6jt1vc1#

您的jboss应用服务器是否将日志写入文件?
根据我的经验,我的jboss应用程序(在多个服务器中)将日志写入文件。然后我使用logstash读取日志文件并将所有日志发送到中央服务器。你可以参考这里。
所以,你能做的就是在不同的数据中心设置一个logstashshipper。如果您没有这样做的权限,可能需要编写一个程序,从不同的web服务获取日志,然后将它们保存到一个文件中。然后设置logstash来读取日志文件。到目前为止,logstash还没有任何可以调用web服务的插件。

zmeyuzjn

zmeyuzjn2#

最好的方法是在创建日志的服务器上设置logstash shipper。
然后将它们发送到redis服务器。
另一个logstash示例将从redis中提取数据,对其进行索引,并将其发送到elasticsearch。
kibana随后将提供一个elasticsearch的接口,这就是好处所在。
不久前我写了一篇关于如何安装logstash的帖子。版本可能已经更新,但仍然有效
http://www.nightbluefruit.com/blog/2013/09/how-to-install-and-setup-logstash/

相关问题