Yarn容器和spark执行器

62lalag4  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(261)

我目前有一个正常运行的集群,包括1个驱动程序(8核和32gb ram)和2个工作进程(其中一个是8核和32gb ram,另一个是8核和16gb ram)
不过,为了最大限度地提高效率,我似乎对生成的容器和spark执行器有点混淆。
我当前的配置如下:
工人1:

工人2:

我的sparksession配置如下:

我希望得到3个容器在Yarn中运行,1个用于驱动器,2个用于spark,但是我得到的输出如下:


只有两个容器,一个分配给rm,另一个分配给worker。然而,只有一个如果我的工人(一个16gbram)正在创建一个执行器,为什么另一个没有创建一个执行器?
我怎样才能获得最大的资源利用率来拥有一个高速的spark应用程序

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题