我们正在使用 FluentBit
将微服务日志发送到 ES
最近在其中一个环境中发现了一个问题:一些日志条目被复制(最多几百次),而其他条目在中丢失 ES/Kibana
但是可以在微服务的容器中找到( kubectl logs my-pod -c my-service
).
每个重复的日志条目都有一个唯一的 _id
以及 _fluentBitTimestamp
所以看起来问题确实出在fluentbit这边。
fluentbit版本为1.5.6,配置为:
[SERVICE]
Flush 1
Daemon Off
Log_Level info
Log_File /fluent-bit/log/fluent-bit.log
Parsers_File /fluent-bit/etc/parsers.conf
Parsers_File /fluent-bit/etc/parsers_java.conf
[INPUT]
Name tail
Path /home/xng/log/*.log
Exclude_Path /home/xng/log/*.zip
Parser json
Buffer_Max_Size 128k
[FILTER]
Name record_modifier
Match *
Record hostname ${HOSTNAME}
[OUTPUT]
Name es
Match *
Host es-logging-service
Port 9210
Type flink-logs
Logstash_Format On
Logstash_Prefix test-env-logstash
Time_Key _fluentBitTimestamp
任何帮助都将不胜感激。
暂无答案!
目前还没有任何答案,快来回答吧!