我应该用三叉戟来计算storm中元组的全局平均值吗?

h9vpoimq  于 2021-06-24  发布在  Storm
关注(0)|答案(1)|浏览(365)

我想用storm计算由[int id,int value]组成的传入元组的平均值。如您所见,我不能使用字段分组来划分数据。我需要一个拓扑结构来分配这个计算,我想的唯一方法是在每个bolt示例中进行小批量处理,然后进行聚合。
我有点明白三叉戟是一个合适的解决方案,在风暴做小批量处理。
当您不能基于属性划分数据时,使用storm-like means、global count、std devs计算全局分析的最佳实践是什么?有拓扑结构的例子吗?

w6mmgewl

w6mmgewl1#

您可以轻松地计算流统计信息,例如使用trident-ml计算的平均值、标准偏差和计数。自述文件中有一节解释了如何在trident拓扑中计算这些统计信息。
希望有帮助。

相关问题