将您的事件直接从kafka存储到数据库？以前何时或为什么使用s3/hdfs？

ua4mk5z4 于 2021-06-04 发布在 Kafka

关注(0)|答案(2)|浏览(391)

我正在学习事件流/事件管道。
我知道一个普通的（简单的）管道是什么样子的，比如说这样的，在互联网上很容易找到：

Kafka-> S3/HDFS/... -> database/datawarehouse

我的问题是，为什么我看不到这个架构

Kafka -> database/datawarehouse

我知道为什么在我的公司，我们在去db之前使用s3来存储我们的事件，但我只是想要一些额外的意见或观点，因为我没有在有事件流的公司工作那么多，谢谢！

streaming apache-kafka amazon-s3 distributed-system transactions

来源：https://stackoverflow.com/questions/64066412/store-your-events-directly-from-kafka-into-database-when-or-why-using-s3-hdfs

2条答案

按热度按时间

fgw7neuy1#

kafka有连接器，如果您只想将数据从kafka流式传输到其他存储库（sink connector）或反之亦然（source connector），则应该使用连接器。
在这里查看文档。
https://docs.confluent.io/current/connect/managing/connectors.html
https://kafka.apache.org/documentation.html#connect

赞(0）回复(0）举报 2021-06-04

kqqjbcuj2#

这是我创建的架构图之一：

注意：这里，我将数据从kafka推送到mongodb、hive和hbase