我在一个风暴拓扑工作,我需要建立不同的客户端位置多个拓扑。
我有一个kafka服务器,它产生的数据需要到达远程客户机(在bolt中进行一些转换之后)。其中大约有1000个客户。当Kafka中产生新的数据时,客户需要在几分钟内获得这些数据。需要进行一些转换(可以通过螺栓处理),数据通过websocket发送到远程客户端。
e、 g:kafka服务器->kafka喷口->bolt1->bolt2->bolt3->websocket(在客户机上)我有1000台客户机。
我希望这个拓扑可以动态地为每个客户端创建。当客户机准备就绪时,他们是否可以启动此拓扑并开始读取数据?或者这些拓扑(其中1000个)可以在storm上创建并准备好发送数据吗?
这座建筑能和暴风雪一起建造吗?这有多有效?风暴是否可控?
谢谢你的回复。
1条答案
按热度按时间qzlgjiam1#
为每个客户机设置拓扑不是处理问题的标准方法。由于每个客户机的数据处理需求是相同的,因此更传统的方法是使用一个拓扑,从输入队列(通常是kafka)读取数据,执行处理,然后向客户机报告。
您特别需要为每个客户机动态地创建一个拓扑。这当然是可能的,但我不认为这是必要的,因为我了解你正在试图做什么。