spark流应用程序的核心和执行器的正确数量是多少?

fykwrbwg  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(215)

我有一个spark流应用程序,它读取4个不同的kafka主题,每个主题有3个分区。读取操作是在不同的瞬间完成的(我有4个管道按顺序处理),所以在我的想法中,我只需要3个park执行器(每个主题的每个分区一个),每个核心一个。以这种方式提交应用程序,我可以看到执行器之间的执行不是并行的,处理时间相对于计算的复杂性来说是非常高的。这个假设怎么了?
如果我用4个执行器(每个执行器有4个内核)运行同一个应用程序,那么所有执行器的执行都是并行的,处理时间很短。
我想知道在使用spark流的kafka主题时,是否存在主题/分区和核心执行器方面的最佳实践。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题