我用mongospark连接器在spark中构建了一个简单的数据导出器。此作业从mongo读取集合并将其写入s3。但是,对于大容量的集合(2b文档),不管执行器和执行器核心的数量如何,它都会打开太多的连接。我试着查看他们的官方文档,看看是否有一个连接器配置来限制连接的数量。但他们也没有。有没有一种方法可以控制从spark应用程序生成的连接数?
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!