我试图用麋鹿建立一个日志分析系统。我看到很多建筑以不同的方式使用麋鹿。其中之一就是logstash->redis->logstash->elasticseach->kibana第一个日志存储用于收集日志，第二个日志存储用于过滤日志。我对redis不是很清楚，我们一定要用它吗？为什么不用Kafka？
kyks70gy1#
你可以找到麋鹿的简单设置( if doesn't need of Redis ). 您可以通过下面的链接了解完整的设置，以及如何使用logstash加载日志，使用elsticsearch搜索日志，并在kibana中进行可视化elk安装
if doesn't need of Redis
xpcnnkqh2#
第二个logstash用于标记日志，并将它们从日志行转换为解析的json。关于体系结构，您可能还需要考虑一些其他因素，比如安全性、Map、可伸缩性。你可以看看我写的一篇关于如何在生产中部署elk的博客文章(http://logz.io/blog/deploy-elk-production/)hth公司
7gs2gvoe3#
两个logstash示例之间的redis是一个缓冲区，以防elasticsearch或logstash indexer崩溃。根据使用logstash处理的内容，您可能不需要它。如果您正在读取日志文件，当logstash（索引器）被淹没时，logstash（发货人）将停止发送日志。这样，您就得到了一个分布式缓存（在日志文件中！）。如果您使用的是一次性事件（例如来自网络设备的陷阱或系统日志），那么像redis或rabbitmq这样的缓冲区在logstash（indexer）可用之前存储它们是很重要的。
3条答案
按热度按时间kyks70gy1#
你可以找到麋鹿的简单设置(
if doesn't need of Redis). 您可以通过下面的链接了解完整的设置，以及如何使用logstash加载日志，使用elsticsearch搜索日志，并在kibana中进行可视化elk安装
xpcnnkqh2#
第二个logstash用于标记日志，并将它们从日志行转换为解析的json。
关于体系结构，您可能还需要考虑一些其他因素，比如安全性、Map、可伸缩性。你可以看看我写的一篇关于如何在生产中部署elk的博客文章(http://logz.io/blog/deploy-elk-production/)
hth公司
7gs2gvoe3#
两个logstash示例之间的redis是一个缓冲区，以防elasticsearch或logstash indexer崩溃。
根据使用logstash处理的内容，您可能不需要它。如果您正在读取日志文件，当logstash（索引器）被淹没时，logstash（发货人）将停止发送日志。这样，您就得到了一个分布式缓存（在日志文件中！）。
如果您使用的是一次性事件（例如来自网络设备的陷阱或系统日志），那么像redis或rabbitmq这样的缓冲区在logstash（indexer）可用之前存储它们是很重要的。