我从kafka开始，我需要控制特定oracle表中的插入，通过kafka发送新记录。我对数据库没有控制权，所以原则上，debizium被排除在外。我该怎么做？不使用触发器。我已经让一个生产者用eclipse中的java程序从oracle读取数据，但是这会不断地向数据库发出请求。我使用java来模拟一个消费者的etl。附言：我用windows工作，但那是次要的。
mcvgt66p1#
如果我正确理解了您的问题，那么您正在尝试将插入从kafka路由到oracle数据库。几乎没有可能：您实现了kafka消费者，当您的kafka集群收到一条消息时，消费者就会进行插入。您可以在这里重用java代码—只需删除轮询部分。请访问这里如果您在云环境中部署了kafka并将其作为服务（aws-msk）使用，那么您可以选择处理事件。同样，您可以使用java程序或编写python脚本来进行插入。请访问这里我想了解您的吞吐量要求，无论您真的需要kafka作为一个分布式消息传递系统还是一个简单的aws sqs都可以。如果你能使用sqs，事情会很简单。您创建了一个队列，并在其中编写了一个侦听器python或javaboto3是一个优秀的python库，用于处理sqs
1条答案
按热度按时间mcvgt66p1#
如果我正确理解了您的问题，那么您正在尝试将插入从kafka路由到oracle数据库。几乎没有可能：
您实现了kafka消费者，当您的kafka集群收到一条消息时，消费者就会进行插入。您可以在这里重用java代码—只需删除轮询部分。请访问这里
如果您在云环境中部署了kafka并将其作为服务（aws-msk）使用，那么您可以选择处理事件。同样，您可以使用java程序或编写python脚本来进行插入。请访问这里
我想了解您的吞吐量要求，无论您真的需要kafka作为一个分布式消息传递系统还是一个简单的aws sqs都可以。如果你能使用sqs，事情会很简单。您创建了一个队列，并在其中编写了一个侦听器
python或java
boto3是一个优秀的python库，用于处理sqs