logstash与Kafka有何不同

0vvn1miw  于 2021-06-07  发布在  Kafka
关注(0)|答案(3)|浏览(744)

原木贮藏与Kafka有何不同?如果两者相同,哪一个更好?怎么做?
我发现两者都是可以将数据推送到进一步处理的管道。

j2cgzkjk

j2cgzkjk1#

另外,我想通过场景添加一些内容:
场景1:事件峰值
你部署的应用程序有一个错误,信息被过度记录,淹没了你的日志基础设施。这种峰值或数据突发在其他多租户用例中也相当常见,例如在游戏和电子商务行业。像kafka这样的消息代理在这个场景中被用来保护logstash和elasticsearch不受这种激增的影响。

场景2:elasticsearch无法访问
当eleasticsearch无法访问时,如果您有大量数据源流入elasticsearch,并且您无法停止原始数据源,那么像kafka这样的消息代理可以在这里提供帮助!如果在kafka中使用logstash shipper和indexer体系结构,则可以继续从边缘节点流式传输数据,并将它们临时保存在kafka中。当elasticsearch恢复时,logstash将继续它停止的地方,并帮助您赶上积压的数据。
整个博客都是关于logtash和kafka的用例的。

z9gpfhce

z9gpfhce2#

logstash是一个工具,可以用来收集、处理和转发事件和日志消息。收集是通过一些 input 插件。你可以用 Kafka 作为一个输入插件,它将读取Kafka主题中的事件。一旦输入插件收集了数据,它就可以被任意数量的过滤器处理,这些过滤器可以修改和注解事件数据。最后将事件路由到 outpu t插件,它可以将事件转发到各种外部程序,包括elasticsearch。
作为 Kafka 是一个消息传递软件,它持久化消息,具有ttl,以及从kafka中提取数据的消费者的概念。它的一些用法可能是:
流处理
网站活动跟踪
指标收集和监控
日志聚合
因此,两者都有各自的优点和缺点。但这完全取决于你的要求。

nzrxty8p

nzrxty8p3#

Kafka比洛格藏强大得多。为了将postgresql之类的数据同步到elasticsearch,kafka连接器可以使用logstash做类似的工作。
一个关键的区别是:kafka是一个集群,而logstash基本上是单个示例。可以运行多个logstash示例。但是这些logstash示例彼此都不知道。例如,如果一个示例发生故障,其他示例将不会接管它的工作。Kafka会自动关闭节点。如果您将kafka连接器设置为在分布式模式下工作,其他连接器可能会接管down连接器的工作。
Kafka和Logstash也可以合作。例如,在每个节点上运行一个logstash示例来收集日志,并将日志发送给kafka。然后您可以编写kafka消费代码来执行任何您想要的处理。

相关问题