我需要实现的功能，事件消息将需要从Kafka主题消费，并插入到数据库表(Postgres/H2/Oracle)。
事件消息将为json格式，需要持续消费。对于我不想插入到数据库中的每条消息，或者如果我存储在内存中并插入到批处理中，如果发生任何失败，可能会导致数据丢失。我可以使用缓存数据库，例如Redis或Hazelcast来存储临时数据，但不想增加额外的基础设施和成本
ff29svar1#
事件消息需要从Kafka主题消费并插入数据库表(Postgres/H2/Oracle)。
这正是JDBC接收器连接器的用途
我不想插入到数据库中，或者如果我存储在内存中，并在批处理中插入，如果发生任何故障，可能会导致数据丢失
连接器确实在内存批处理中使用，以减少数据库写入的负载，因此您需要澄清为什么这是一个问题
1条答案
按热度按时间ff29svar1#
事件消息需要从Kafka主题消费并插入数据库表(Postgres/H2/Oracle)。
这正是JDBC接收器连接器的用途
我不想插入到数据库中，或者如果我存储在内存中，并在批处理中插入，如果发生任何故障，可能会导致数据丢失
连接器确实在内存批处理中使用，以减少数据库写入的负载，因此您需要澄清为什么这是一个问题