如何在hadoop集群中建立数据管道监控系统?

icnyk63a  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(312)

到管道的数据输入来自数据库或web记录器。管道处理它并将其放入hdfs中,然后将数据移动到nosql数据库。监控系统将对此进行端到端监控。

hvvq6cgz

hvvq6cgz1#

您可以考虑使用elk stack(elasticsearch、logstash、kibana)。在每个节点上,摄取、处理和插入数据库,请查看是否可以添加有关要处理的每个文件/记录的日志。
您可以在每个节点上部署logstash,并为其编写解析逻辑,将这些逻辑写入elasticsearch,并使用kibana可视化这些逻辑。
您还可以考虑使用elastic.co的watcher插件生成错误警报。
以下是一些供您开始使用的链接。
安装ekl
日志分析
提醒

相关问题