如何使用WebSocket将spark流数据从服务器端发送到客户端?

brgchamk  于 2021-06-21  发布在  Storm
关注(0)|答案(1)|浏览(501)

在apache storm中,apache camel可用于订阅activemq队列,在该队列中,storm bolt将其输出写入并将这些输出推送到websockets,因此,客户机可以在正确握手后获得这些流数据,如本网站所示。
在用java中的websockets将spark流数据从服务器端发送到客户端时,有没有类似的方法?如果没有,还有其他更好的java或scala解决方案吗?
谢谢您。

qzwqbdag

qzwqbdag1#

我的解决方案是使用rabbitmq。让spark作为rabbitmq队列的生产者。然后使用rabbitmq使用者将数据通过websockets写入html客户机。
最初的方法是使用Kafka。但这个框架中存在严重的缺陷。在这些bug(希望)修复之后,我将在0.8.2版本中重温kafka。
顺便说一句,websockets的解决方案是一个相当大的负担。最后,我在netty上的一个小库上写下了自己的解决方案——因为现成的库中有一些问题(socko、spray、play等)

相关问题