我有一个 logstash->kafka->logstash->elasticsearch 设置。 logstash 正在跟踪日志文件。此日志文件将附加到 bunyan 在 nodejs 一切都准备好了 json 格式/编解码器。在我看来，任何在某处包含空数组的日志条目都不会传递到目标。有人知道问题出在哪里吗？是 kafka 不是用来接收带有空列表的json对象的吗？ logstash 的 kafka 输出插件是相当新的，有没有已知的问题相关？我在谷歌上找不到任何东西。。。
1条答案
按热度按时间vxf3dgd41#
我会做两件事来检查问题的根源：
将文件追加器添加到第一个日志存储中，然后检查是否正在将空数组写入该文件。架构看起来是这样的：logstash->file，kafka->logstash->elasticsearch
自己阅读Kafka主题，检查是否正在写入空数组。您可以使用apachekafkapython插件来实现这一点
这样，您就可以检查问题是在logstash插件端（更可能）还是kafka端（不太可能，因为kafka基本上只是读/写字节，不熟悉内容本身）。