使用kafka队列数据的java流作业与循环批处理作业

oalqel3c  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(409)

例如,如果我有一个java应用程序,它总是在运行,并且在到达时从kafka队列中读取数据,目的是获取数据并将其转发到db。。。在批处理作业中无限循环而不是通过kafka streaming/kafka connect进行,有什么主要的缺点吗?考虑到我没有在每个循环中毫无意义地创建或浪费资源,并且我正确地处理了多线程,有没有什么主要的缺点或理由不这样做?对于长时间运行的应用程序来说,这是一个可行的选择吗?
(我有理由不使用kafka流/连接我们的用例)

pepwfjgg

pepwfjgg1#

所以我和我的工程师谈了。事实证明,只要正确地执行,通过批处理作业执行无限循环是一个可行的选择。这意味着您已经对配置进行了微调,在循环之间短暂地暂停,并且如果任何连接/使用者/生产者发生故障,您将正确地处理它们的生命周期。另一个团队已经在prod环境中这样做了。

相关问题