如果一个应用程序的两个示例同时运行,spark streaming是否会分散负载?

tyky79it  于 2021-06-09  发布在  Hbase
关注(0)|答案(1)|浏览(350)

我最近注意到,当我提交了两个流应用程序示例并且它们并行工作时,输入速率会发生某种变化。这张图片来自其中一个应用程序,当时我杀死了另一个。投入率提高。

我正在从mqtt messagebroker订阅以将数据获取到应用程序。这是否意味着负载在两个应用程序之间分配?
更多信息:在应用程序处理数据之后,它会被写入hbase,并且事务是幂等的,如果数据被写入两次,则不会发生任何事情。

bz4sfanl

bz4sfanl1#

有多种方法可以识别它。
如果要维护基于时间戳的hbase单元数据版本,可以检查该特定数据单元的时间戳版本数。您可以通过hbase shell轻松检查这一点。查看此项以供参考
另一种方法是,您可以使用来自两个流的流应用程序id来记录这些数据。检查是否从两个流插入相同的数据。

相关问题