在我的spark工作中，结果以几kbs的速度发送给驱动程序。尽管如此，我还是得到了下面的例外 spark.driver.maxResultSize 设置为4 gbs：

ERROR TaskSetManager: Total size of serialized results of 3021102 tasks (4.0 GB) is bigger than spark.driver.maxResultSize (4.0 GB)

Spark蓄能器或其他任何东西是否有助于内存的使用 spark.driver.maxResultSize ? 是否有官方文档/代码可供我参考以了解更多信息？
有关代码/执行的更多详细信息：
有300万个任务
每个任务从s3读取50个文件，并在转换后将它们重新写入s3
任务返回s3文件的前缀以及一些元数据，这些元数据在驱动程序中收集以保存到文件中。此数据小于50 mbs