我有一个环境,结合了4个物理节点和少量的ram,每个有8个cpu核心。我注意到spark会自动为每个cpu分配ram。结果是发生了内存错误。我使用的是大数据结构,我希望每个执行器在物理节点上都有完整的ram内存(否则会出现内存错误)。我试图在“yarn site.xml”文件上配置“yarn.nodemanager.resource.cpu-vcore1”,或在spark-defaults.conf上配置“spark.driver.cores 1”,但没有成功。
5vf7fwbs1#
尝试设置 spark.executor.cores 1
spark.executor.cores 1
1条答案
按热度按时间5vf7fwbs1#
尝试设置
spark.executor.cores 1