Apache Flink与Apache Storm性能指标评测对比

axr492tv  于 2022-12-09  发布在  Apache
关注(0)|答案(1)|浏览(149)

基于性能比较,Apache Flink和Apache Storm在实时处理方面是否有真实的的基准测试?
另外,如果我想进行性能比较并自己实现它,是否有任何流API(如twitter API)提供比twitter更高的吞吐量,并且是开源的?
谢谢你,谢谢你

iq0todco

iq0todco1#

一般来说,有一些针对流处理的基准-但它们并不总是比您可以找到的针对RDBMS的基准具有广泛的适用性或可访问性。
首先,您应该自己回答的一个主要问题是:**您对性能的确切理解是什么?**有不同的指标可以用来衡量这样一个系统。
不过,我将在这里试着列出一些标杆性的作品,这对我很有帮助:

  • 最近为Storm & Flink实现的一个基准测试框架是Yahoo Streaming Benchmark。它有一个使用Kafka & Redis的固定内部架构和一个预定义的查询/拓扑。无论如何,这是一个很好的起点。
  • Karimov et al有一篇关于这些系统的基准测试的不错的论文。值得一读,因为它确实有助于理解可能的指标。不幸的是,我找不到他们使用的任何实现或关于他们工作负载(数据和查询)的进一步信息-所以我想说,这对理解更有帮助。
  • van Dongen et al正在对几个流处理系统进行更深入的分析,并在github上提供了它们的源代码。不幸的是,没有针对Storm的实现。但无论如何,有一些关于如何构建这样一个框架的有趣的想法和贡献。

如您所见,流处理在设置和基准测试系统方面具有高度多样性...

相关问题