我使用elk，由于日志记录太多了，.json文件中的事件将被扩展到.json.1文件，因此，当我运行测试时，我并没有得到kibana中的所有事件（例如，如果我有1200个事件，我将在kibana中获得1100个事件条目，其余100个将被扩展到.json.1，一旦.json文件被完全填满。但是我在logstash中做了一个只读.json文件的配置，我丢失了.json.1.）中存在的所有100个事件。如何在Kibana举办100场活动？
envsm3lx1#
似乎你的基本问题是记录到文件中的事件太多，而logstash没有足够快地将它们提取出来。事件是如何产生的？你能把logger改成rabbitmq或者redis或者别的什么吗？然后您可以让logstash从rabbitmq或其他地方获取这些消息。这种方法将为您提供更高的传递保证和更低的消息丢失风险。
piv4azn72#
虽然这在一定程度上取决于文件的旋转方式，但只要在logstash监视的文件名模式中列出foo.json和foo.json.1两个文件就可以了。或者，增加旋转间隔。无论哪种方式，它都要求您所描述的只发生在罕见的突发事件中，并且日志记录的总体速率明显低于logstash所能处理的速率。如果没有，你只需要提高logstash的性能。
2条答案
按热度按时间envsm3lx1#
似乎你的基本问题是记录到文件中的事件太多，而logstash没有足够快地将它们提取出来。
事件是如何产生的？你能把logger改成rabbitmq或者redis或者别的什么吗？然后您可以让logstash从rabbitmq或其他地方获取这些消息。
这种方法将为您提供更高的传递保证和更低的消息丢失风险。
piv4azn72#
虽然这在一定程度上取决于文件的旋转方式，但只要在logstash监视的文件名模式中列出foo.json和foo.json.1两个文件就可以了。或者，增加旋转间隔。
无论哪种方式，它都要求您所描述的只发生在罕见的突发事件中，并且日志记录的总体速率明显低于logstash所能处理的速率。如果没有，你只需要提高logstash的性能。