我们已经为我们的项目设置了一个EFK堆栈,从昨天开始kibana似乎关闭了。当我们最初进行故障排除时,我们发现了以下错误:
一月一日和一月一日
后来,我们发现elasticsearchpod也存在同样的问题。除此之外,我们还发现数据请求限制存在以下问题:
FATAL {“错误”:{“根原因”:[{“类型”:“电路中断异常”,“原因”:“[父项]数据太大,[索引:管理/模板/获取]的数据将为[1036909172/988.8mb],这大于[1020054732/972.7mb]的限制,真实的使用情况:[1036909056/988.8mb],保留的新字节数:[116/116 b],使用情况[请求=0/0 b,字段数据=420/420 b,正在进行的请求=67310/65.7kb,模型推理=0/0 b,eql序列=0/0 b,记帐=110294544/105.1mb]",“需要的字节数”:1036909172,“字节数限制”:1020054732,“持久性”:“永久”}],“类型”:“电路中断异常”,“原因”:“[父级]数据太大,[索引:管理/模板/获取]的数据将为[1036909172/988.8mb],大于限制[1020054732/972.7mb],真实的使用情况:[1036909056/988.8mb],保留的新字节数:[116/116 b],用法[请求=0/0 b,字段数据=420/420 b,正在进行的请求=67310/65.7kb,模型推理=0/0 b,eql序列=0/0 b,记帐=110294544/105.1mb]",“需要的字节数”:1036909172,“字节限制”:1020054732,“持久性”:“永久”},“状态”:429}
我们已尝试更改REDYINESS_PROBE_TIMEOUT,初始延迟,超时,探测周期,成功阈值和失败阈值。还尝试增加索引断路器限制,但它没有反映出我们可以看到错误仍然采用旧限制,还尝试通过添加ES_JAVA_OPTS值来修复circuit_breaking_exception。
似乎没有什么工作,任何帮助将不胜感激。
1条答案
按热度按时间ujv3wf0j1#
在服务运行过程中也出现了同样的现象。2这个问题被认为是内存不足。3所以有几种方法可以考虑。
1.物理内存扩展(横向扩展)由于可用内存不足而需要额外设备
1.通过监控降低负载如果circuit_breaking_exception仍然存在于日志中,则开发一个降低负载的监控设备
1.设置java_opts您可以设置内存使用情况,但如果没有足够的硬件内存,则没有意义