健壮的web套接字流到java中的kafka

ygya80vv  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(258)

我需要记录从一个不可靠的网络套接字连接和流到Kafka。我们的kafka集群非常可靠,我们可以使其高度可用。
使web套接字连接尽可能可靠的最佳方法是什么?我想尽量减少数据丢失。
一种解决方案是让多个进程或websocket客户端监听和流式传输多个kafka主题。然后用Kafka流做一个过滤器。只有当我获得的每条消息都有一个唯一的id时,这才有效,但情况并非总是如此。
另一个解决方案是监视web套接字连接并重新启动或重置它。但我可能会丢失数据。还是依赖网络套接字心跳?或者编写自己的错误处理程序?
java的哪些框架/库在这个领域做得最好?目前,我使用org.java-websocket中的websocket客户端。
我认为这在websocket和kafka producer开发中是一个非常标准的用例,所以我确信我不需要重新发明轮子。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题