要解决Yarn开销问题，可以通过添加 .config('spark.yarn.executor.memoryOverhead','30g') 为了获得最大的并行性，建议将核心数保持在5，因为您可以增加执行器的数量。

spark = SparkSession.builder \
  .appName('test') \
  .config('spark.executor.memory', '18g') \
  .config('spark.executor.cores', '5') \
  .config('spark.executor.instances', '12') \
  .getOrCreate()  

# or use dynamic resource allocation refer below config

spark = SparkSession.builder \
    .appName('test') \
   .config('spark.shuffle.service.enabled':'true')\
   .config('spark.dynamicAllocation.enabled':'true')\
   .getOrCreate()

让我们把答案分成三部分：
执行人人数
groupby操作
你的遗嘱执行人记忆
执行人人数
直接从spark文档：

spark.executor.instances

 Initial number of executors to run if dynamic allocation is enabled.
 If `--num-executors` (or `spark.executor.instances`) is set and larger
 than this value, it will be used as the initial number of executors.

所以，不。你只得到一个执行器，除非启用动态分配，否则它不会扩展。
您可以通过配置 spark.executor.instances 或者通过启用动态执行器分配，根据工作负载设置自动扩展。
要启用动态分配，还必须启用shuffle服务，它允许您安全地删除执行器。这可以通过设置两个配置来完成： spark.shuffle.service.enabled 至 true . 默认值为false。 spark.dynamicAllocation.enabled 至 true . 默认值为false。
子句
我观察到 group_by 在spark中使用散列聚合完成，这意味着给定 x 分区的数目，以及唯一组的值大于 x ，多个group by值将位于同一分区中。
例如，假设groupu by column中的两个唯一值是 a1 以及 a2 总行大小分别为100gib和150gib。
如果它们落在不同的分区中，您的应用程序将正常运行，因为每个分区都将放入executor内存（180gib），这是内存处理所必需的，如果它们不放入剩余内存中，则剩余的分区将溢出到磁盘。但是，如果它们落在同一个分区中，您的分区将无法放入执行器内存（180gib<250gib），您将得到一个oom。
在这种情况下，配置 spark.default.parallelism 将数据分布在数量相当多的分区上，或者应用salt或其他技术来消除数据偏斜。
如果您的数据不是太倾斜，那么您可以正确地说，只要您的执行器能够处理最大的groupby值，它就应该能够工作，因为您的数据将被均匀地分区，并且发生上述情况的可能性将很小。
另一点需要注意的是，由于您正在使用 group_by 这需要数据洗牌，您还应该打开洗牌服务。如果没有shuffle服务，每个执行者都必须在处理自己的工作的同时处理shuffle请求。
执行器存储器
spark中的总执行器内存（实际执行器容器大小）是通过将为容器分配的执行器内存与分配的 memoryOverhead . 这个 memoryOverhead 比如虚拟机开销，内部字符串，其他本地开销等等，

Total executor memory = (spark.executor.memory + spark.executor.memoryOverhead)
spark.executor.memoryOverhead = max(executorMemory*0.10, 384 MiB)

基于此，您可以根据您的数据配置适当大小的执行器。所以，当你设置 spark.executor.memory 至 180GiB ，实际启动的执行者应该在 198GiB .