我在storm拓扑中有一个用例,我想控制有多少元组进入一个bolt进行处理。例如,当已经处理了100个元组时,我想停止接收更多元组。很可能这可以通过 topology.max.spout.pending ,但是这个配置是在拓扑级别上的,如何在螺栓级别上实现这一点。
topology.max.spout.pending
bmvo0sr51#
我不认为这是可能的风暴出盒。您可以在execute方法中阻塞,但这显然不理想,因为元组将继续在executer接收队列中累积。如果您想像这样批量处理元组,为什么不研究一下storm trident或spark这样的微博客解决方案呢?
1条答案
按热度按时间bmvo0sr51#
我不认为这是可能的风暴出盒。您可以在execute方法中阻塞,但这显然不理想,因为元组将继续在executer接收队列中累积。
如果您想像这样批量处理元组,为什么不研究一下storm trident或spark这样的微博客解决方案呢?