sparks作业挂起在多节点集群中

jgzswidk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(373)

我已设置多节点Yarn簇
节点1:数据节点和主节点2:数据节点
当我提交作业时,当第一个容器在节点1上启动时,作业工作正常,但当第一个容器在节点2上启动时,作业仍处于接受状态。为什么会发生这种情况
在yarn web ui上,我可以看到两个节点都注册了

rsl1atfo

rsl1atfo1#

在集群上运行作业很可能缺少可用的所需资源。要验证它,请检查单个作业的总体资源(核心、ram)和所需/使用的资源。第二个可以在第一个作业完成后更改运行状态。

相关问题