spark+yarn cluster:如何将物理节点配置为每次只运行一个executor\task?

kpbpu008  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(367)

我有一个环境,结合了4个物理节点和少量的ram,每个有8个cpu核心。我注意到spark会自动为每个cpu分配ram。结果是发生了内存错误。我使用的是大数据结构,我希望每个执行器在物理节点上都有完整的ram内存(否则会出现内存错误)。我试图在“yarn site.xml”文件上配置“yarn.nodemanager.resource.cpu-vcore1”,或在spark-defaults.conf上配置“spark.driver.cores 1”,但没有成功。

相关问题