SparkStreaming并行处理不同的数据流,并在一个数据流中线性处理作业

cu6pst1q  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(277)

我有一个应用程序,它需要使用kafka队列来维护每个主题的批处理顺序。我为每个主题创建了不同的数据流。但当我运行它时,每个主题都是以顺序方式使用的。如果我设置“spark.streaming.concurrentjob=4”(n>1),那么主题将并行使用,但在相同的主题批中也并行处理(有没有一种方法可以并行处理不同的数据流,并在一个数据流中线性地处理作业。

s6fujrry

s6fujrry1#

我没有创建多个作业,而是将source操作符的并行性设置为主题分区的数量。有关更多信息,请参阅此链接

相关问题