我想为我正在考虑的集中式日志项目提供一些设计建议。我有许多组件在不同的服务器上生成日志。apacheflume看起来是流式传输到中心日志服务器的明智选择，很可能是流式传输到elasticsearch示例中进行查询和分析。我的问题是：我想提供一个脚本引擎来监听到达中央服务器的日志事件流。作为flume中的拦截器，或者作为elasticsearch的插件，或者完全其他的东西，这样做有意义吗？
5uzkadbs1#
flume最初为hadoop/hbase提供了管道，它允许您在到达最终存储之前完成几乎所有的修饰、转换和拦截。所以Flume是一个完美的地方有预处理（在您的情况下提醒）。FlumeFlume可以是ElasticSearch，这意味着日志最终将以ElasticSearch结束。为了回答您的问题，在日志到达最终目的地之前，在管道中触发所有警报/警报/通知是非常有意义的，在这方面，旧的flume和flume ng体系结构都是可定制和强大的。另一个需要提及的是，ElasticSearch非常适合全文搜索，但是分析，它无法与hadoop生态系统竞争。clouderacdh4.3在hadoop中添加了solr-cloud，这为flume+hdfs或hbase+solr的组合带来了好处。这个组合也值得一看。
1条答案
按热度按时间5uzkadbs1#
flume最初为hadoop/hbase提供了管道，它允许您在到达最终存储之前完成几乎所有的修饰、转换和拦截。所以Flume是一个完美的地方有预处理（在您的情况下提醒）。FlumeFlume可以是ElasticSearch，这意味着日志最终将以ElasticSearch结束。为了回答您的问题，在日志到达最终目的地之前，在管道中触发所有警报/警报/通知是非常有意义的，在这方面，旧的flume和flume ng体系结构都是可定制和强大的。
另一个需要提及的是，ElasticSearch非常适合全文搜索，但是分析，它无法与hadoop生态系统竞争。clouderacdh4.3在hadoop中添加了solr-cloud，这为flume+hdfs或hbase+solr的组合带来了好处。这个组合也值得一看。