使用独立群集管理器时，如何配置spark\ worker\ cores和spark\ executor\ cores的核心数。
wfauudbj1#
根据spark文档spark\u worker\u cores：允许spark应用程序在计算机上使用的内核总数（默认值：所有可用的内核）。例如：如果您有一个由5个节点（1个主节点和4个slavenode）组成的集群，并且每个节点的配置是8核和32gbram。。。因此，通过使用spark\u worker\u cores，我们可以配置spark每个worker（即节点）可以使用多少个cores。默认值是使用所有核心(提示：我们还需要为os保留2个内核，为nm保留1个内核，为spark守护进程保留1个内核）spark\u executor\u cores：此属性用于控制executor级别的核心。spark可以根据资源可用性为每个worker（即节点）启动多个执行器。此条件应始终满足（spark\u executor\u cores<spark\u worker\u cores）如果您配置spark\u worker\u cores=5个核心和spark\u executor\u cores=1，那么spark可以在每台机器上运行5个执行器。注意：只有在spark独立模式下运行spark时，spark\u worker\u cores属性才有意义。
1条答案
按热度按时间wfauudbj1#
根据spark文档
spark\u worker\u cores：允许spark应用程序在计算机上使用的内核总数（默认值：所有可用的内核）。
例如：如果您有一个由5个节点（1个主节点和4个slavenode）组成的集群，并且每个节点的配置是8核和32gbram。。。因此，通过使用spark\u worker\u cores，我们可以配置spark每个worker（即节点）可以使用多少个cores。默认值是使用所有核心(提示：我们还需要为os保留2个内核，为nm保留1个内核，为spark守护进程保留1个内核）
spark\u executor\u cores：此属性用于控制executor级别的核心。spark可以根据资源可用性为每个worker（即节点）启动多个执行器。此条件应始终满足（spark\u executor\u cores<spark\u worker\u cores）
如果您配置spark\u worker\u cores=5个核心和spark\u executor\u cores=1，那么spark可以在每台机器上运行5个执行器。
注意：只有在spark独立模式下运行spark时，spark\u worker\u cores属性才有意义。