如何限制mongo spark连接器与mongo群集的连接过多?

vlju58qv  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(282)

我用mongospark连接器在spark中构建了一个简单的数据导出器。此作业从mongo读取集合并将其写入s3。但是,对于大容量的集合(2b文档),不管执行器和执行器核心的数量如何,它都会打开太多的连接。我试着查看他们的官方文档,看看是否有一个连接器配置来限制连接的数量。但他们也没有。有没有一种方法可以控制从spark应用程序生成的连接数?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题