到管道的数据输入来自数据库或web记录器。管道处理它并将其放入hdfs中,然后将数据移动到nosql数据库。监控系统将对此进行端到端监控。
hvvq6cgz1#
您可以考虑使用elk stack(elasticsearch、logstash、kibana)。在每个节点上,摄取、处理和插入数据库,请查看是否可以添加有关要处理的每个文件/记录的日志。您可以在每个节点上部署logstash,并为其编写解析逻辑,将这些逻辑写入elasticsearch,并使用kibana可视化这些逻辑。您还可以考虑使用elastic.co的watcher插件生成错误警报。以下是一些供您开始使用的链接。安装ekl日志分析提醒
1条答案
按热度按时间hvvq6cgz1#
您可以考虑使用elk stack(elasticsearch、logstash、kibana)。在每个节点上,摄取、处理和插入数据库,请查看是否可以添加有关要处理的每个文件/记录的日志。
您可以在每个节点上部署logstash,并为其编写解析逻辑,将这些逻辑写入elasticsearch,并使用kibana可视化这些逻辑。
您还可以考虑使用elastic.co的watcher插件生成错误警报。
以下是一些供您开始使用的链接。
安装ekl
日志分析
提醒