可视化和分析来自Kafka的数据

sz81bmfz  于 2021-06-06  发布在  Kafka
关注(0)|答案(2)|浏览(343)

我正在使用一个基本的kafka日志存储设置来将许多不同的应用程序与后端同步。我对它的工作原理有一个非常基本的了解。目前我正在研究分析Kafka处理的数据。我想用Kafka连接得到一个Kibana板上的一切,我非常不确定如何解决这个问题。
我找到了这个资源,上面写着:
虽然kafka connect是apache-kafka本身的一部分,但是如果您希望将数据从kafka流式传输到elasticsearch,您将需要合流平台。
我的问题是:
1我必须使用合流来实现这一点吗?
2我应该使用合流来实现这一点吗?
我还研究了其他工具,例如普罗米修斯,但据我所知,要实现类似kibana的可视化并不容易。但如果我错了,请教育我!

6jjcrrmo

6jjcrrmo1#

您可以使用logstashkafka输入插件可视化和分析kafka数据。下面是示例日志存储片段配置。

input {
  kafka {
    bootstrap_servers => "localhost:9092"
    client_id => "client_id_name"  // optional 
    topics => ["topic_name"]
  }

}

//Logstash provides different filters like json,csv and etc..You can add filters based on your requirements. 

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
}

output {
    elasticsearch{
        hosts => ["http://localhost:9200/"]
        index => "index_name"
        document_type => "document_type_name"  // optional 
    }
}

请参考https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html 更多Kafka输入配置选项

0sgqnhkj

0sgqnhkj2#

我使用了logstash(通过tcp输入插件使用json数据)和kafka-connect-elastic-connector-by-confluent(使用avro数据),两者都只使用了常规的apachekafka。所以,你的答案是,不。配置kafka connect需要更多的时间,因为你必须构建源代码,当然,你也应该这样做,因为它最终还是相同的apache kafka。
这两种方法都适用于kibana,但这当然取决于您如何管理elasticsearch中的索引模式以及您正在摄取的数据。
就我个人而言,如果你对设置elasticsearch索引和类型Map一无所知,我会觉得logstash简单一点,因为logstash的elasticsearch输出插件“刚刚工作”。我记不起我是否使用了kafka输入插件,但我可以想象它的工作原理与任何其他输入类似,但是如果生产者提供了一些非标准的序列化,那么kafka反序列化程序可能会出现问题(例如,有些人将protobuf数据放入kafka)
我看到普罗米修斯/格拉法纳更多的是指标,而不是可视化。

相关问题