目标：我想在Dataproc Serverless for Spark上运行Spark作业。
问题：Spark应用程序的最低CPU内核要求是12个内核，这不符合我们默认的区域CPU配额，需要我们进行扩展。我们不想扩大配额。
详细信息：此链接提到Dataproc Serverless for Spark的最低要求：https://cloud.google.com/dataprocserverless/docs/concepts/properties
它们是：（a）1个驱动程序和2个执行器节点（B）每个节点4个内核
因此，总共需要12个CPU核心。
我们是否可以绕过这一点，使用更少的CPU内核运行Dataproc Serverless for Spark？
1条答案
按热度按时间blmhpbnm1#
目前，Dataproc Serverless for Spark工作负载需要12个CPU核心才能运行-这是您无法绕过的硬性最低要求。
我们正在努力放宽这一要求，但至少要到2023年第三季度才能上市。