将数据从kafka集群移动到红移表的最佳实践是什么？我们有连续的数据到达Kafka，我想把它写在红移表（它不必是实时的）。我应该使用lambda函数吗？我应该写一个红移连接器（consumer）在专用ec2示例上运行吗(缺点是我需要处理冗余）有美国焊接学会的管道服务吗？
t98cgbkg1#
kafka connect通常用于将数据从kafka流式传输到（或从）数据存储。它可以做一些有用的事情，比如自动管理扩展、故障转移、模式、序列化等等。这个博客展示了如何使用开源的jdbc-kafka-connect连接器将流传输到redshift。还有一个社区红移连接器，但我没有尝试过这个。这个博客展示了另一种方法，而不是使用Kafka连接。免责声明：我为confluent工作，他创建了jdbc连接器。
1条答案
按热度按时间t98cgbkg1#
kafka connect通常用于将数据从kafka流式传输到（或从）数据存储。它可以做一些有用的事情，比如自动管理扩展、故障转移、模式、序列化等等。
这个博客展示了如何使用开源的jdbc-kafka-connect连接器将流传输到redshift。还有一个社区红移连接器，但我没有尝试过这个。
这个博客展示了另一种方法，而不是使用Kafka连接。
免责声明：我为confluent工作，他创建了jdbc连接器。