与Kafka性能问题Spark流

mnemlml8  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(233)

在spark流媒体中,有哪些方法可以提高洗牌性能?基本上,我使用spark streaming(1.6.2)和kafka(0.10)每天处理100 PB的数据,由于数据速度非常大,所以要稳定整个流应用程序变得非常困难。执行了所有的代码级优化并减少了洗牌。寻找一些核心调优配置,至少可以提高洗牌性能。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题