spark-yarn进程只在单个执行器上运行

2guxujil  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(213)

我有一个集群设置,有一个主服务器和两个从服务器(通过cloudera管理器管理)。每当我提交一个spark代码,其中master是yarn,deploy模式是cluster时,它确实得到了正确的执行,但是当在spark history服务器中查看详细信息时,它显示它只在一个executors/worker中执行。
但那不是同一个执行者,每次新的/不同的运行,主人似乎都会接两个工人中的一个。有什么问题吗?
我也尝试过给出--num executors 2,但结果相同。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题