原木贮藏与Kafka有何不同?如果两者相同,哪一个更好?怎么做?我发现两者都是可以将数据推送到进一步处理的管道。
j2cgzkjk1#
另外,我想通过场景添加一些内容:场景1:事件峰值你部署的应用程序有一个错误,信息被过度记录,淹没了你的日志基础设施。这种峰值或数据突发在其他多租户用例中也相当常见,例如在游戏和电子商务行业。像kafka这样的消息代理在这个场景中被用来保护logstash和elasticsearch不受这种激增的影响。场景2:elasticsearch无法访问当eleasticsearch无法访问时,如果您有大量数据源流入elasticsearch,并且您无法停止原始数据源,那么像kafka这样的消息代理可以在这里提供帮助!如果在kafka中使用logstash shipper和indexer体系结构,则可以继续从边缘节点流式传输数据,并将它们临时保存在kafka中。当elasticsearch恢复时,logstash将继续它停止的地方,并帮助您赶上积压的数据。整个博客都是关于logtash和kafka的用例的。
z9gpfhce2#
logstash是一个工具,可以用来收集、处理和转发事件和日志消息。收集是通过一些 input 插件。你可以用 Kafka 作为一个输入插件,它将读取Kafka主题中的事件。一旦输入插件收集了数据,它就可以被任意数量的过滤器处理,这些过滤器可以修改和注解事件数据。最后将事件路由到 outpu t插件,它可以将事件转发到各种外部程序,包括elasticsearch。作为 Kafka 是一个消息传递软件,它持久化消息,具有ttl,以及从kafka中提取数据的消费者的概念。它的一些用法可能是:流处理网站活动跟踪指标收集和监控日志聚合因此,两者都有各自的优点和缺点。但这完全取决于你的要求。
input
Kafka
outpu
nzrxty8p3#
Kafka比洛格藏强大得多。为了将postgresql之类的数据同步到elasticsearch,kafka连接器可以使用logstash做类似的工作。一个关键的区别是:kafka是一个集群,而logstash基本上是单个示例。可以运行多个logstash示例。但是这些logstash示例彼此都不知道。例如,如果一个示例发生故障,其他示例将不会接管它的工作。Kafka会自动关闭节点。如果您将kafka连接器设置为在分布式模式下工作,其他连接器可能会接管down连接器的工作。Kafka和Logstash也可以合作。例如,在每个节点上运行一个logstash示例来收集日志,并将日志发送给kafka。然后您可以编写kafka消费代码来执行任何您想要的处理。
3条答案
按热度按时间j2cgzkjk1#
另外,我想通过场景添加一些内容:
场景1:事件峰值
你部署的应用程序有一个错误,信息被过度记录,淹没了你的日志基础设施。这种峰值或数据突发在其他多租户用例中也相当常见,例如在游戏和电子商务行业。像kafka这样的消息代理在这个场景中被用来保护logstash和elasticsearch不受这种激增的影响。
场景2:elasticsearch无法访问
当eleasticsearch无法访问时,如果您有大量数据源流入elasticsearch,并且您无法停止原始数据源,那么像kafka这样的消息代理可以在这里提供帮助!如果在kafka中使用logstash shipper和indexer体系结构,则可以继续从边缘节点流式传输数据,并将它们临时保存在kafka中。当elasticsearch恢复时,logstash将继续它停止的地方,并帮助您赶上积压的数据。
整个博客都是关于logtash和kafka的用例的。
z9gpfhce2#
logstash是一个工具,可以用来收集、处理和转发事件和日志消息。收集是通过一些
input
插件。你可以用Kafka
作为一个输入插件,它将读取Kafka主题中的事件。一旦输入插件收集了数据,它就可以被任意数量的过滤器处理,这些过滤器可以修改和注解事件数据。最后将事件路由到outpu
t插件,它可以将事件转发到各种外部程序,包括elasticsearch。作为
Kafka
是一个消息传递软件,它持久化消息,具有ttl,以及从kafka中提取数据的消费者的概念。它的一些用法可能是:流处理
网站活动跟踪
指标收集和监控
日志聚合
因此,两者都有各自的优点和缺点。但这完全取决于你的要求。
nzrxty8p3#
Kafka比洛格藏强大得多。为了将postgresql之类的数据同步到elasticsearch,kafka连接器可以使用logstash做类似的工作。
一个关键的区别是:kafka是一个集群,而logstash基本上是单个示例。可以运行多个logstash示例。但是这些logstash示例彼此都不知道。例如,如果一个示例发生故障,其他示例将不会接管它的工作。Kafka会自动关闭节点。如果您将kafka连接器设置为在分布式模式下工作,其他连接器可能会接管down连接器的工作。
Kafka和Logstash也可以合作。例如,在每个节点上运行一个logstash示例来收集日志,并将日志发送给kafka。然后您可以编写kafka消费代码来执行任何您想要的处理。